编程助手的“外壳”可能让你多花一倍的钱,准确率却没变
HarnessTax: How Much Does the Harness Matter for Coding Agents?
UC Berkeley 等机构的研究者在 SWE-bench Lite 和 Terminal-Bench 2.0 上评测了 7 个模型与 Claude Code、Codex CLI、Pi 三个 harness 组成的 21 组配对,发现 harness 选择对任务成功率影响很小,但成本差异显著,同一模型成功率相近时成本最高可差 5 倍。
推荐理由:UC Berkeley 等机构将 7 个模型与三种编程助手外壳配对测试,发现外壳对任务成功率影响很小,同一模型成本最高可差 5 倍。