跳到正文
Hacker News 首页

在真实的 Claude Code 会话里,LRU 缓存淘汰策略比很多新论文说的更难打败

LRU is harder to beat than the KV-cache papers suggest

作者用前缀缓存模拟器回放 393 个真实 Claude Code 会话的 68,266 条请求和 23,608 条 Mooncake 请求,尝试三种方式击败生产基线均未成功。作者称在容量压力下,大部分重算来自相隔数秒的工具调用循环,而非会话空闲超过 TTL,5 分钟 TTL 在容量压力下从未触发。仓库可通过 make setup data repro 从冷检出复现全部结果。

推荐理由:作者用 393 个真实 Claude Code 会话的 6.8 万条请求回放前缀缓存,三种击败生产基线的尝试均未成功,并指出容量压力下的重算主要来自相隔数秒的工具调用循环。

读原文 ↗导出 Markdown