跳到正文
AI HOT 精选

MiniMax 开源 M3 模型,428B 总参数里只激活 23B,长文本推理更省钱

MiniMax 开源 M3 模型权重及 MSA 技术论文

MiniMax 把 M3 模型权重放出来了,总参数 428B,每次推理只激活 23B,同时发了 MSA 稀疏注意力论文,专门降长上下文推理成本。M3 是第一个从预训练阶段就用图文交错数据练出来的开源模型。

推荐理由:MiniMax 开源 M3 权重,428B 总参数每次推理只激活 23B,并同步发布 MSA 稀疏注意力论文,为长上下文推理降本提供了一条可参考的稀疏激活路线。

读原文 ↗导出 Markdown