跳到正文
Hacker News 首页

同一个模型套 9 种外壳,跑通一次的成本差了 17 倍

Show HN: FrontierHarness Eval – 9 harness, same model, cost per pass varies 17x

Runta 用 Kimi K3 模型跑了 12 套不同的编程助手配置,总共 360 次测试,每次都是从完全相同的初始环境冷启动。Codex 通过率最高,66.7%,每次任务成本 3.47 美元;Exo Harness 最省钱,每次只要 1.05 美元,但通过率掉到 53.3%;Claude Code 通过率 63.3%,但每次任务要花 18.34 美元...

推荐理由:这篇评测干净利落,控制变量做得很好:同一个 Kimi K3 模型,12 套配置,全部从零冷启动,总共 360 次测试。结论很直观——最贵的 Claude Code(18.34 美元/次,通过率 63.3%)被最省的 Codex(3.47 美元/次,通过率 66.7%)反超,成本差了 17 倍。没给更高分是因为这只是一篇博客,不是长期追踪的榜单,样本量也有限。但就单次实验来说,信息量够硬,对选工具的人很有参考价值。

读原文 ↗导出 Markdown