跳到正文
Computing Life · Share · 鸭哥调研

MAI-Thinking-1:让模型持续思考几千步不崩,比让它开始思考难得多

Microsoft AI 的 MAI-Thinking-1:让模型思考不难,让它持续思考才难

微软 MAI-Thinking-1 的技术报告没在吹模型多会解题,而是在讲怎么让强化学习训练别崩。他们给 GRPO 算法打了三个补丁:一个像恒温器一样动态调节模型的“自信度”,防止它变得死板或乱猜;一个像断路器,在梯度爆炸时直接截断,保住整批训练数据;还有一套自蒸馏抢救流程,训练万一崩了,能把之前学会的推理能力搬到新模型上继续跑。

推荐理由:微软 MAI-Thinking-1 技术报告讲的是强化学习训练不崩,给 GRPO 打了动态调节自信度、梯度截断和自蒸馏抢救三个补丁,对做推理模型训练的人有方法层面的参考。

读原文 ↗导出 Markdown