跳到正文
r/LocalLLaMA

FastDMS 把 KV 缓存压到 1/5~1/8,跑得比 vLLM BF16/FP8 还快

FastDMS: 6.4X KV-cache compression running faster than vLLM BF16/FP8

FastDMS 放出了一个 MIT 许可的实现,核心是把模型推理时占显存的 KV 缓存压到原来的 1/5 到 1/8。在 8K 上下文长度下,Llama-3.2-1B 用 6.4 倍压缩后困惑度是 9.200;Qwen3-8B 在压缩系数 c=1 时,KV 缓存从 1.406 GiB 直接降到 0.184 GiB。

推荐理由:FastDMS 开源了 MIT 许可的 KV 缓存压缩实现,在 8K 上下文下把 Llama-3.2-1B 的缓存压到 1/5 至 1/8,并给出困惑度与显存占用的具体数字。

读原文 ↗导出 Markdown