跳到正文
AI HOT 精选

蚂蚁百灵发布 Ling-3.0-flash:124B 总参数、5.1B 激活参数,智能密度超越 1T 级旗舰

蚂蚁百灵推出了新模型 Ling-3.0-flash,总参数 124B,但每次推理只激活 5.1B 参数,体量只有上一代旗舰 Ring-2.6-1T 的八分之一左右,却在推理、指令遵循和 Agent 任务上打平甚至反超。核心变化是预训练阶段就用了原生混合线性注意力架构,把 KDA 和 MLA 层按 5:1 交替堆叠,专家激活比例压到 1/64,用更少的计...

推荐理由:蚂蚁百灵放出 Ling-3.0-flash,124B 总参数只激活 5.1B,声称在推理、指令遵循和 Agent 任务上打平甚至反超自家 1T 级旗舰 Ring-2.6-1T。我会先打个折——目前只有单方发布,没有第三方基准测试,实际表现还得等社区跑分。但架构细节给得实在:原生混合线性注意力、KDA/MLA 5:1 交替、1/64 专家激活比例,这些不是公关话术。如果数据属实,5.1B 激活参数做到这个水平确实省钱,对做 Agent 和推理部署的人是个值得跟进的信号。

读原文 ↗导出 Markdown