KV cache 命中率:Agent 推理的第一成本杠杆
一个跑10次工具调用的ReAct agent,只产出500个token,却要反复重读80万个input token。Spheron测出prefill占agent推理成本的85%到95%,输入输出token比高达267:1。账单大头不是生成新内容,而是让模型每轮都把旧信息重新咀嚼一遍。
推荐理由:Spheron 实测显示,跑 10 次工具调用的 ReAct agent 中 prefill 占推理成本 85% 到 95%,输入输出 token 比达 267 比 1,成本结构由此落在缓存命中率上。