跳到正文
机器之心 · 公众号

AI Agent 的隐性账单:多花 1000 倍 token,效果未必更好

花了1000倍的token,效果可能却没有更好:AI Agent的“隐性账单”长什么样

这篇文章本身因为微信环境验证没抓到正文,所以具体实验细节没法展开。但从标题和已有摘要能看出,研究团队用 OpenHands 跑了 8 个前沿模型在 500 个 swe-bench 编程任务上的表现,发现 Agent 模式下输入输出 token 比能到 154:1,而且人类标注的任务难度和实际 token 消耗之间关联很弱,Kendall tau 只有 ...

推荐理由:我会先打个折:这不是新模型发布,而是一篇基于轨迹数据的分析,所以放在 78–84 这个推荐区间是合适的。它的钩子很直接——token 花了一千倍,效果未必更好,这对正在给 coding agent 算账的团队来说,比单纯刷榜的新闻更有实际参考价值。文章给出了 OpenHands 在 500 个 swe-bench-verified 任务上的具体数字,154:1 的输入输出比和 0.32 的 Kendall tau,说明模型在排行榜上的名次和实际干活的表现相关性很弱。这点先别太激动,正文没披露不同模型各自的成本曲线,但至少把 agent 的隐性账单摆...

读原文 ↗导出 Markdown