# KV cache 命中率：Agent 推理的第一成本杠杆

- 来源：Computing Life · Share · 鸭哥调研
- 发布时间：2026-06-25T00:00:00.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/40631
- 原文：https://yage.ai/share/prefix-cache-agent-cost-lever-20260625.html

## 摘要

一个跑10次工具调用的ReAct agent，只产出500个token，却要反复重读80万个input token。Spheron测出prefill占agent推理成本的85%到95%，输入输出token比高达267:1。账单大头不是生成新内容，而是让模型每轮都把旧信息重新咀嚼一遍。

## 推荐理由

Spheron 实测显示，跑 10 次工具调用的 ReAct agent 中 prefill 占推理成本 85% 到 95%，输入输出 token 比达 267 比 1，成本结构由此落在缓存命中率上。

## 锐评

267:1 这个输入输出比，跑过 agent 的人一看就懂，钱全花在让模型重读旧 context 上。prefill 占 85% 到 95%，那优化方向根本不在 prompt 写短一点，而在 KV cache 命中率。90% 命中率账单砍到十分之一，这个杠杆比换模型、比砍 token 都大。

所以做 agent 的先把 prefix 稳定下来，system prompt 和工具定义别每轮变，能缓存的都缓存。这条没给模型规格和并发量，省钱幅度自己按场景试。
