跳到正文
Computing Life · Share · 鸭哥调研

tok/s 是 agentic 场景里最会骗人的性能数字

作者用自己连续 30 天、约 7.3 万个真实样本的实测数据指出,厂商标称的 tok/s 多为短 context 下的纯解码速度,无法反映 agentic 多轮任务中的端到端体验。

推荐理由:作者用连续30天约7.3万个真实样本对比Cerebras与本地Qwen 27B,指出厂商标称的1500 tok/s是短上下文解码速度,计入预填充后有效吞吐仅357 tok/s,对本地102的领先从15倍收窄到3.5倍。

读原文 ↗导出 Markdown