如何用 Claude 自动设计评测并进行爬坡优化
Claude 的 claude-api 技能新增评测设计与爬坡优化指导,可在 Claude Code 中通过 /claude-api build-eval 构建评测,通过 /claude-api hillclimb 逐步优化应用。
推荐理由:Claude 将评测设计与逐步优化组织为需人工确认的工作流,通过留出测试集和噪声检查减少过拟合与无效改动。
Claude 的 claude-api 技能新增评测设计与爬坡优化指导,可在 Claude Code 中通过 /claude-api build-eval 构建评测,通过 /claude-api hillclimb 逐步优化应用。
推荐理由:Claude 将评测设计与逐步优化组织为需人工确认的工作流,通过留出测试集和噪声检查减少过拟合与无效改动。
Claude Sonnet 5.5 已可用,官方称其较 Sonnet 5 快 30%,每 token 价格不变,多数任务成本最多降低 30%。模型原生支持 1M tokens 上下文窗口并默认开启自适应思考,指南建议将其用于需求明确、结果可检查的日常任务,将复杂且需要审慎判断的工作交给 Opus 5.5。
推荐理由:Claude Sonnet 5.5 指南列出思考模式、工具调用与响应结构的迁移调整,升级现有应用需要同步修改参数与解析逻辑。
Opus 5.5 在 Claude Code 中的任务成本由轮次、缓存读取、输出 token 和模型价格共同决定,降低消耗也可能增加重试成本。按 API 标价,同一示例会话从 Opus 5 的 $3.50 降至 Opus 5.5 的 $2.40,约降低 31%,示例不计缓存写入;典型工作负载成本降低 40% 的估计还包含默认设置下任务 token 消耗减少。
推荐理由:Claude Code 成本指南把轮次、缓存与思考输出拆开计费,并用同任务实测的方法区分单价下降与任务消耗减少。
Claude Code 的 effort 控制模型投入任务的计算量,高档位会增加自主判断、验证和边界测试,低档位适合快速交互与迭代。作者结合 Opus 5.5 实测与 Terminal-Bench 3.0 结果,建议先让模型访谈澄清需求,再低 effort 实现和迭代,最后高 effort 验证;提高 effort 通常减少遗漏边界情况导致的失败,但不能修正错误解题方向。
推荐理由:Claude Code 的实测给出先澄清需求、低 effort 实现再高 effort 验证的流程,将快速迭代与边界测试分配到不同阶段。
Claude 官方指南介绍在 Claude 和 Claude Code 中使用 Opus 5.5 的方法,涵盖提示词、长任务控制与结果核查。建议明确完成标准,在 CLAUDE.md 中规定继续执行和停止询问的条件,用文件保存任务清单,并检查子智能体提交的证据。
推荐理由:Claude 官方指南把长任务拆成完成标准、停下条件和结果核查,用文件清单与子智能体证据检查减少过程遗漏。
Anthropic 介绍 Claude 5 代模型的上下文工程方法,将 Claude Opus 5 和 Claude Fable 5 的 Claude Code 系统提示词删减超过 80%,编码评测未出现可测量的损失。
推荐理由:Anthropic 将上下文管理拆成轻量仓库说明、按需加载技能和具体参考文件,为减少重复指令与过度约束提供了可迁移方法。
Anthropic 分享了 Claude Code 内部数百个活跃技能的使用经验,归纳出九类用途及编写、分发和衡量方法。技能是包含指令、脚本与资源的文件夹,编写时应积累常见错误、按需加载参考文件、复用辅助脚本,并将描述写成触发条件。小团队可通过仓库共享技能,规模扩大后可使用内部插件市场分发,并通过 PreToolUse hook 记录使用情况、识别触发不足的技能。
推荐理由:Anthropic 将内部技能实践归纳为九类用途,并用常见错误记录、按需读取文件和脚本复用提炼出团队技能库的构建方法。
Claude Code 上周发布动态工作流,Claude 可按当前任务即时编写执行框架,并支持保存、共享和复用。工作流通过 JavaScript 中的 agent()、parallel() 和 pipeline() 协调子智能体,可选择模型和独立 worktree,中断后恢复会话可继续执行。
推荐理由:Claude Code 用独立上下文的子智能体拆分执行与对抗验证,为复杂任务减少自我偏好和目标漂移提供了具体编排方法。
Claude Code 团队成员 Thariq Shihipar 分享用 HTML 替代 Markdown 生成复杂输出的方法,以改善阅读、可视化、分享和交互体验。
推荐理由:Claude Code 团队成员用 HTML 生成可交互文档,并将界面调整导出为提示词,让人工修改接回智能体工作流程。
Claude Code 团队分享提示词缓存的工程经验,通过保持请求前缀稳定来降低长会话智能体的延迟与成本。具体做法包括静态内容前置、通过消息更新状态、避免会话中切换模型或增删工具,以及用 defer_loading 延迟加载工具。上下文压缩时复用原会话的系统提示词、工具定义和历史消息,再追加压缩请求以命中缓存;团队也监控缓存命中率,并将异常下降视为事故。
推荐理由:Claude Code 团队把缓存前缀稳定性落实到提示词排序、工具加载和上下文压缩,为长会话智能体提供可迁移的缓存优化方法。
Claude Code 团队复盘工具设计,强调根据模型能力、智能体目标与运行环境持续调整工具。AskUserQuestion 在两种失败尝试后采用独立工具实现结构化提问,Task 则替代 TodoWrite,支持任务依赖与子智能体共享更新。上下文获取从预索引 RAG 转向 Grep 搜索和渐进式披露,Claude Code Guide 子智能体在自己的上下文中检索文档,只向主智能体返回答案。
推荐理由:Claude Code 团队以提问、任务协作和上下文搜索的工具迭代为例,将观察模型调用行为作为调整工具设计的方法。
Mistral 基于其开源编码助手 Vibe 构建了一个自动编写 Rails RSpec 测试的智能体,可读取源码、生成或改进测试、按风格规则与覆盖率目标校验,并在 CI/CD 中无人干预运行。
推荐理由:Mistral 公开了用 Vibe 构建自动写 RSpec 测试智能体的完整方法,包含上下文工程、技能文件与自定义工具的可迁移细节。