MiniMax 开源 MSA 稀疏注意力:109B 模型处理百万 token 时注意力计算量砍掉 28.4 倍
MiniMax Sparse Attention (MSA)
MiniMax 发了一篇论文,提出一种叫 MSA 的稀疏注意力方法,专门解决超长上下文推理时注意力计算太贵的问题。它的做法是在 GQA(分组查询注意力)基础上加一个轻量的“索引分支”,先给每块 KV 缓存打分,每个查询组只挑分数最高的一小部分块,主分支再对这些挑出来的块做精确注意力计算。
推荐理由:MiniMax 提出 MSA 稀疏注意力方法,在 GQA 基础上用索引分支为 KV 缓存分块打分,只对高分块做精确注意力,论文给出 109B 模型处理百万 token 时注意力计算量减少 28.4 倍。