MiniMax 开源 M3 模型,428B 总参数里只激活 23B,长文本推理更省钱
MiniMax 开源 M3 模型权重及 MSA 技术论文
MiniMax 把 M3 模型权重放出来了,总参数 428B,每次推理只激活 23B,同时发了 MSA 稀疏注意力论文,专门降长上下文推理成本。M3 是第一个从预训练阶段就用图文交错数据练出来的开源模型。发布两周后,它在 Artificial Analysis 综合智能指数和 GDPval-AA 上拿了开源第一,Code Arena WebDev 进了...
推荐理由:MiniMax 把 428B 的 M3 模型权重和 MSA 稀疏注意力论文一起放出来,主打长上下文推理省钱,两周内拿了两个开源第一。我会先打个折,因为这是官方公告,没有第三方基准或具体的 MSA 成本数字,但架构稀缺性和开源排名已经够上 featured。