小红书 RedKnot 把 KV Cache 按注意力头拆开,长文本推理更快了
小红书 RedKnot 推理引擎:将 KV Cache 按注意力头拆解实现长文本加速
RedKnot 发现 83.4% 到 96.8% 的注意力头其实只关心局部上下文,于是它不再给所有头都存完整的 KV Cache,而是按头拆开、各用各的稀疏策略。
推荐理由:小红书 RedKnot 按注意力头拆分 KV Cache,为各头单独配置稀疏策略,在长文本推理中减少预填充计算量。
小红书 RedKnot 推理引擎:将 KV Cache 按注意力头拆解实现长文本加速
RedKnot 发现 83.4% 到 96.8% 的注意力头其实只关心局部上下文,于是它不再给所有头都存完整的 KV Cache,而是按头拆开、各用各的稀疏策略。
推荐理由:小红书 RedKnot 按注意力头拆分 KV Cache,为各头单独配置稀疏策略,在长文本推理中减少预填充计算量。