在真实的 Claude Code 会话里,LRU 缓存淘汰策略比很多新论文说的更难打败
LRU is harder to beat than the KV-cache papers suggest
这个仓库重放了 393 次真实 Claude Code 会话里的 6.8 万个请求,专门测试那些号称能替代 LRU 的 KV 缓存淘汰新策略。结果发现,很多新方法在论文的标准测试集上看着挺美,一碰到真实 agent 工作流(让模型进业务流程干活)的访问模式就露馅了。正文没给出具体的命中率数字,但核心结论很明确:真实场景下的访问规律跟学术基准差得远,生产...
推荐理由:这个仓库没走论文老路,而是拿真实 agent 工作流的访问模式来压测 KV 缓存淘汰策略。393 次会话、6.8 万个请求的规模够看,直接点出很多新方法在学术基准上好看、一上生产就露馅。不过正文没披露具体命中率数字,所以分数先停在 featured 这一档,等有数据再往上调。