# tok/s 是 agentic 场景里最会骗人的性能数字

- 来源：Computing Life · Share · 鸭哥调研
- 发布时间：2026-09-06T00:00:00.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/55206
- 原文：https://yage.ai/share/toks-deceptive-agentic-20260906.html

## 摘要

作者用自己连续 30 天、约 7.3 万个真实样本的实测数据指出，厂商标称的 tok/s 多为短 context 下的纯解码速度，无法反映 agentic 多轮任务中的端到端体验。

## 推荐理由

作者用连续30天约7.3万个真实样本对比Cerebras与本地Qwen 27B，指出厂商标称的1500 tok/s是短上下文解码速度，计入预填充后有效吞吐仅357 tok/s，对本地102的领先从15倍收窄到3.5倍。

## 锐评

1500 tok/s 这个数在 agentic 场景里基本没用。作者实测有效吞吐只有 357，跟本地 102 比是 3.5 倍，纸面上的 15 倍缩水得厉害。原因也简单，agent 每轮把几十上百 K 的 context 重发一遍，prefill 占掉一半以上时间，短 context 的纯 decode 数字再漂亮也白搭。

更值得记的是那 3 分钟账单 1.57 美元，折下来一小时 29 刀，本地电费 9 美分。选型时拿 tok/s 当第一指标，等于替供应商省了做真实负载测试的功夫。
