# MiniMax 开源 MSA 稀疏注意力：109B 模型处理百万 token 时注意力计算量砍掉 28.4 倍

> 原标题：MiniMax Sparse Attention (MSA)

- 来源：r/LocalLLaMA
- 发布时间：2026-06-12T14:55:27.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/37862
- 原文：https://www.reddit.com/r/LocalLLaMA/comments/1u3xl1i/minimax_sparse_attention_msa/

## 摘要

MiniMax 发了一篇论文，提出一种叫 MSA 的稀疏注意力方法，专门解决超长上下文推理时注意力计算太贵的问题。它的做法是在 GQA（分组查询注意力）基础上加一个轻量的“索引分支”，先给每块 KV 缓存打分，每个查询组只挑分数最高的一小部分块，主分支再对这些挑出来的块做精确注意力计算。

## 推荐理由

MiniMax 提出 MSA 稀疏注意力方法，在 GQA 基础上用索引分支为 KV 缓存分块打分，只对高分块做精确注意力，论文给出 109B 模型处理百万 token 时注意力计算量减少 28.4 倍。

## 锐评

28.4 倍这个数挺唬人，但稀疏注意力省的一直是算力不是显存，KV cache 该占多少还占多少，百万 token 的部署瓶颈往往卡在显存上。挑块打分这套思路不新，难的是索引分支本身别太贵，不然省下来的又贴回去。真要看的是它跟 FlashAttention 这类现成 kernel 比端到端快多少，论文里的倍数一般是最理想的那档。109B 这个量级能开源出来还是值得看的。
