微软放出 MAI-Thinking-1,35B 活跃参数的 MoE 模型,没靠蒸馏自己从头训
微软发布 MAI-Thinking-1 模型
微软发了 MAI-Thinking-1,一个混合专家(MoE)模型,总参数 1 万亿但每次只激活 350 亿,跑起来相对省算力。它用 30T token 从零预训练,没拿第三方模型做蒸馏,这点比较硬气。微软管自己的迭代优化流程叫“爬山机器”,听着像在反复试错往上拱。
推荐理由:微软发布 MAI-Thinking-1,总参数 1 万亿、每次激活 350 亿,用 30T token 从零预训练且未做第三方蒸馏,MoE 稀疏激活与自研训练路径是这条的主要看点。