# 如何用 Claude 自动设计评测并进行爬坡优化

> 原标题：Automating eval design and hillclimbing with Claude

- 来源：claude.dev 开发者博客
- 发布时间：2026-09-28T12:00:00.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/pnwnb7uv8a6b7gfypdtovrd2n
- 原文：https://claude.dev/blog/automating-eval-design-and-hillclimbing/

## 摘要

Claude 的 claude-api 技能新增评测设计与爬坡优化指导，可在 Claude Code 中通过 /claude-api build-eval 构建评测，通过 /claude-api hillclimb 逐步优化应用。

## 推荐理由

Claude 将评测设计与逐步优化组织为需人工确认的工作流，通过留出测试集和噪声检查减少过拟合与无效改动。

## 锐评

给 LLM-as-judge 定规矩时砍掉 1 到 5 分打分制，这个限制切得很准。用 1 到 5 分让模型打分基本是玄学，今天偏高明天偏低，跑出来的方差根本没法指导优化。checkable claims 至少能一条条核对，加上隐去 baseline 做两两盲测，拿到的信号才算数。而且流程里要求人工确认打分样例，不让模型自己放飞。把这套防自欺欺人的机制做进 Claude Code，我觉得挺扎实的。
