跳到正文
Hacker News 首页

我能买你的 KV 缓存吗?

Can I Buy Your KV Cache?

现在每个 AI 智能体读同一份文档,都要从头算一遍最耗算力的“预填充”步骤,生成一份完全一样的 KV 缓存。这篇论文提了个很直接的方案:让内容发布方提前把文档的 KV 缓存算好,其他智能体直接花钱加载,跳过预填充。在 Qwen3-4B 上实测,复用缓存比重新预填充便宜 9 到 50 倍,而且输出的 token 完全一致,精度零损失。

推荐理由:论文提出由内容发布方预计算文档 KV 缓存供其他智能体付费加载,跳过预填充;在 Qwen3-4B 上复用缓存比重新预填充便宜 9 到 50 倍,输出 token 完全一致。

读原文 ↗导出 Markdown