# InfiniteKV 开源：把旧 token 压成 104 字节的可检索记录存到内存或硬盘，不再直接丢弃

> 原标题：Open sourcing InfiniteKV: a KV cache that files old tokens as 104-byte searchable records in RAM or on disk instead of deleting them. Mistral-7B answered from token 76,747, 2.3x past its trained window. Colab demo

- 来源：r/LocalLLaMA
- 发布时间：2026-06-12T06:34:47.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/37822
- 原文：https://www.reddit.com/r/LocalLLaMA/comments/1u3nicr/open_sourcing_infinitekv_a_kv_cache_that_files/

## 摘要

InfiniteKV 把 KV 缓存拆成两层：最近 256 个 token 原样留在 GPU 显存里，更早的 token 则压缩成每条 104 字节的记录，放到普通内存或硬盘上的文件里。模型每生成一个新 token，缓存都会从这些冷记录里捞出最相关的部分，和热窗口一起做注意力计算，一条都不删。

## 推荐理由

InfiniteKV 把旧 token 压成每条 104 字节的可检索记录存到内存或硬盘，让 Mistral-7B 在超出训练窗口 2.3 倍的位置仍能作答。

## 锐评

104 字节一条，这个压缩比挺狠。KV 缓存按 fp16 存一个 token 动辄几 KB，压到 104 字节砍掉两个数量级，长上下文那点显存焦虑基本能缓过来。代价是每条都要从硬盘捞回来重算注意力，生成速度肯定掉，它换的是容量不是速度，本地跑长文档的可以盯一下。

只在 Mistral-7B 和 SmolLM2 上验过，泛用性我暂时不信，等有人拿 70B 级别跑出数。
