跳到正文
Hugging Face 博客

模型路由很简单,直到你开始算真实成本

Model Routing Is Simple. Until It Isn’t.

IBM 的人拿 417 个 AppWorld 任务跑了一遍,发现按标价选模型会翻车。Claude Sonnet 4.6 总花费 79 美元,GPT-4.1 却花了 155 美元,贵了快一倍。原因是 agent 干活时会反复用同一大段上下文,Sonnet 的缓存读取价更低,靠这个把总账拉回来了。文章的意思很直接:路由不是分类问题,是系统优化问题,光看标价...

推荐理由:IBM 的人拿 417 个 AppWorld 任务实测,发现按标价选模型会翻车。Claude Sonnet 4.6 总花费 79 美元,GPT-4.1 花了 155 美元,贵了快一倍。原因是 agent 干活时会反复用同一大段上下文,Sonnet 的缓存读取价更低,靠这个把总账拉回来了。文章的核心判断很直接:模型路由不是分类问题,是系统优化问题,光看标价会吃大亏。这个结论有具体数字支撑,对正在搭 agent 的团队有直接参考价值,我会先打个折——正文没披露任务的具体难度分布和失败率,但 417 个任务的样本量已经够说明趋势了。

读原文 ↗导出 Markdown