# FastDMS 把 KV 缓存压到 1/5~1/8，跑得比 vLLM BF16/FP8 还快

> 原标题：FastDMS: 6.4X KV-cache compression running faster than vLLM BF16/FP8

- 来源：r/LocalLLaMA
- 发布时间：2026-05-04T21:38:24.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/13673
- 原文：https://www.reddit.com/r/LocalLLaMA/comments/1t3vlrx/fastdms_64x_kvcache_compression_running_faster/

## 摘要

FastDMS 放出了一个 MIT 许可的实现，核心是把模型推理时占显存的 KV 缓存压到原来的 1/5 到 1/8。在 8K 上下文长度下，Llama-3.2-1B 用 6.4 倍压缩后困惑度是 9.200；Qwen3-8B 在压缩系数 c=1 时，KV 缓存从 1.406 GiB 直接降到 0.184 GiB。

## 推荐理由

FastDMS 开源了 MIT 许可的 KV 缓存压缩实现，在 8K 上下文下把 Llama-3.2-1B 的缓存压到 1/5 至 1/8，并给出困惑度与显存占用的具体数字。

## 锐评

KV 缓存压到 1/8 还比 vLLM 快，这个组合挺反直觉，一般压缩都要拿速度换显存。Qwen3-8B 从 1.406 GiB 降到 0.184 GiB，长上下文场景下省出来的显存能多塞好几个并发，对自建推理的人是实打实的钱。

目前只看到 Llama-3.2-1B 的复现，1B 上的 PPL 参考价值有限，8B 那组只给了显存没给质量。等有人拿 32B 以上、真实长 context 跑一遍再决定要不要换。
