跳到正文
r/LocalLLaMA

Shard:把 KV 缓存压到原来的十分之一,长上下文推理更省显存

Shard - getting to 10× KV cache compression

Shard 这套方法能在 Llama-3.1-8B 上把 KV 缓存占的显存砍掉约 90%。具体来说,8K 上下文长度时压缩比约 10 倍,拉到 32K 时能到 11 倍。技术路线分两路:对 Key 矩阵先用 PCA 降维再做 int4 量化,对 Value 矩阵则用 Hadamard 旋转配合向量量化。

推荐理由:Shard 在 Llama-3.1-8B 上把 KV 缓存显存压缩约九成,8K 上下文约 10 倍、32K 约 11 倍,Key 走 PCA 加 int4 量化、Value 走 Hadamard 旋转加向量量化。

读原文 ↗导出 Markdown