RL 训练大模型有个马太效应：难题越练越少，这篇博客提出“永不放弃”来纠正它

Learning to solve hard problems in RL for LLMs by never giving up

Michael Noukhovitch 写了篇博客介绍他新论文里的发现：用强化学习（RL）做模型后训练时，会出现马太效应——训练越往后，模型越爱挑简单题做，难题被采样的次数越来越少，因为早期在简单题上拿到的奖励把训练方向带偏了。他提出的修正方法叫 Never Give Up（NGU），核心是给难题设一个最低采样比例，不让它们被挤掉。在 Olmo 3.1...

推荐理由：Michael Noukhovitch 把自家论文写成了博客，讲的是 RL 后训练里一个隐蔽的退化现象：模型会越来越爱做简单题，难题采样率一路下滑，因为早期简单题的奖励把训练方向带偏了。他管这个叫马太效应，提出的修正方案 NGU 就是给难题设最低采样比例，强制保留训练信号。正文没披露 NGU 在 Olmo 3.1 之外更多模型上的验证结果，这点先别太激动，但思路本身对正在跑 RL 流程的团队有直接参考价值。