# 小红书 RedKnot 把 KV Cache 按注意力头拆开，长文本推理更快了

> 原标题：小红书 RedKnot 推理引擎：将 KV Cache 按注意力头拆解实现长文本加速

- 来源：AI HOT 精选
- 发布时间：2026-06-29T11:00:07.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/41241
- 原文：https://mp.weixin.qq.com/s/qRrZvL0aZzYI82djFSrLug

## 摘要

RedKnot 发现 83.4% 到 96.8% 的注意力头其实只关心局部上下文，于是它不再给所有头都存完整的 KV Cache，而是按头拆开、各用各的稀疏策略。

## 推荐理由

小红书 RedKnot 按注意力头拆分 KV Cache，为各头单独配置稀疏策略，在长文本推理中减少预填充计算量。

## 锐评

83.4% 到 96.8% 的头只关心局部上下文，这个比例我信，长文本里大部分注意力本来就浪费在近处。RedKnot 按头拆 KV Cache 各配稀疏策略，预填充计算砍掉 67% 到 79.5%，单卡并发 7.8 倍，这几个数放在 8 卡 H800 上就是实打实的省钱。做 serving 的可以直接看这个思路，长文本场景的显存和首 token 延迟一直是卡脖子的地方，能砍掉三分之二的预填充计算，账单上省下来的比调 batch size 那点小打小闹多得多。精度损失没测就先按有损看，稀疏策略换性能从来不是白给的。
