同一个模型套 9 种外壳,跑通一次的成本差了 17 倍
Show HN: FrontierHarness Eval – 9 harness, same model, cost per pass varies 17x
Runta 发布 FrontierHarness Eval,用同一模型 Kimi K3 在相同运行时和冷启动条件下测试 9 个 harness 共 12 种配置的软件工程任务表现。
推荐理由:Runta 用同一 Kimi K3 模型在相同冷启动条件下测试 9 个 harness 共 12 种配置,Claude Code 每次通过成本 18.34 美元,Codex 为 3.47 美元,通过率反而更高。