编程助手的“外壳”可能让你多花一倍的钱,准确率却没变
HarnessTax: How Much Does the Harness Matter for Coding Agents?
UC Berkeley 和 Arena 的研究人员把 7 个模型装进 3 种不同的编程助手外壳(Claude Code、Codex CLI 和 Pi),在 SWE-bench Lite 和 Terminal-Bench 2.0 上各跑了 30 个任务,每个组合重复 3 次。结果发现,换外壳对任务成功率影响很小(±2–5%),但成本最多能差到 5 倍。比...
推荐理由:UC Berkeley和Arena的人做了件挺实在的事:把7个模型塞进3种不同的编程助手外壳里跑分,结果发现换壳对能不能完成任务影响很小,但花的钱最多能差5倍。这个结论对天天在终端里切工具的开发者来说很实用,而且实验设计干净、数字具体,没有吹牛成分。分数定在78,因为正文摘要没展开讲成本差异具体从哪来、不同外壳的失败模式有什么不同,信息有缺口,先不打更高。