跳到正文
AI HOT 精选

智能体工作负载正在改写推理成本账本

智能体工作负载悄然重塑推理经济

SemiAnalysis 扒了 43.2 万条真实编码智能体的请求记录,输入 token 的中位数不是大家常说的 3.2 万或 6.4 万,而是 9.6 万。这个量级意味着模型在接到你的问题之前,已经吞下了比《了不起的盖茨比》全书还长的上下文。正文没披露用了哪些模型、成本曲线、采样方式和统计时间窗口,所以这个数字先当个参考,别急着拿它算账。

推荐理由:SemiAnalysis 统计了 43.2 万条真实编码智能体请求,得出输入 token 中位数为 9.6 万,比常被引用的 3.2 万或 6.4 万高出一截,为讨论智能体推理成本提供了实测参照。

读原文 ↗导出 Markdown