# 同一个模型套 9 种外壳，跑通一次的成本差了 17 倍

> 原标题：Show HN: FrontierHarness Eval – 9 harness, same model, cost per pass varies 17x

- 来源：Hacker News 首页
- 发布时间：2026-09-02T16:14:52.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/54341
- 原文：https://frontierharness.org

## 摘要

Runta 发布 FrontierHarness Eval，用同一模型 Kimi K3 在相同运行时和冷启动条件下测试 9 个 harness 共 12 种配置的软件工程任务表现。

## 推荐理由

Runta 用同一 Kimi K3 模型在相同冷启动条件下测试 9 个 harness 共 12 种配置，Claude Code 每次通过成本 18.34 美元，Codex 为 3.47 美元，通过率反而更高。

## 锐评

同一个 Kimi K3，换个外壳成本差 17 倍，Claude Code 单次 18.34 美元，Codex 3.47 美元，通过率还反超 3.4 个点。这钱基本烧在 context 管理和缓存上，Claude Code 缓存命中率 67.8% 垫底，Codex 88%，同样的活多吐一倍 token。所以选 harness 别只看榜单分数，按单次成本算账，Claude Code 比 Codex 贵五倍多，多出来的钱没换到任何通过率。这个数我信，控制变量做得干净，360 次全冷启动。要上生产的，先拿自己的任务跑一遍成本，别默认贵的就好。
