# Shard：把 KV 缓存压到原来的十分之一，长上下文推理更省显存

> 原标题：Shard - getting to 10× KV cache compression

- 来源：r/LocalLLaMA
- 发布时间：2026-05-26T04:04:03.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/27090
- 原文：https://www.reddit.com/r/LocalLLaMA/comments/1tnvo7r/shard_getting_to_10_kv_cache_compression/

## 摘要

Shard 这套方法能在 Llama-3.1-8B 上把 KV 缓存占的显存砍掉约 90%。具体来说，8K 上下文长度时压缩比约 10 倍，拉到 32K 时能到 11 倍。技术路线分两路：对 Key 矩阵先用 PCA 降维再做 int4 量化，对 Value 矩阵则用 Hadamard 旋转配合向量量化。

## 推荐理由

Shard 在 Llama-3.1-8B 上把 KV 缓存显存压缩约九成，8K 上下文约 10 倍、32K 约 11 倍，Key 走 PCA 加 int4 量化、Value 走 Hadamard 旋转加向量量化。

## 锐评

10 倍 KV 缓存压缩，对本地跑长上下文的人是实打实的省显存。8K 到 32K 压缩比从 10 涨到 11，上下文越长越划算，正好卡在显存最吃紧的地方。Key 用 PCA 加 int4、Value 用 Hadamard 旋转加向量量化，都是成熟积木拼的，不像编的。但只有 Reddit 一个帖子，额外算力开销一个字没提，省下的显存被反量化吃回去就白搭。等有人复现出吞吐数字再动手。
