# RL 训练大模型有个马太效应：难题越练越少，这篇博客提出“永不放弃”来纠正它

> 原标题：Learning to solve hard problems in RL for LLMs by never giving up

- 来源：Hacker News 首页
- 发布时间：2026-09-15T19:07:38.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/56763
- 原文：https://mnoukhov.github.io/posts/ngu/

## 摘要

Michael Noukhovitch 发布关于 LLM 强化学习后训练的论文博客，提出 Matthew Effect 现象，并主张用 Never Give Up 方法解决。博客以交互式、非正式方式呈现，涵盖评估指标实际测量内容、Matthew Effect 成因、异步 RL 陈旧性与 NGU 技巧，以及在数学和代码任务上的实验，并附有 arXiv 论文和 GitHub 代码链接。

## 推荐理由

Michael Noukhovitch 在博客中提出 RL 后训练的马太效应，即模型越练越偏向简单题，并给出强制保留难题采样信号的 NGU 方法，附数学与代码任务实验。

## 锐评

RL 后训练里难题越练越少这事，跑过的人都见过，只是没人给它起名字。这篇把它叫马太效应，方案也简单，给难题设个最低采样比例，别让简单题的奖励一直带方向。思路我认，但实验只在 Olmo 3.1 上跑，数学和代码两个任务，规模都不大。真到几百 B 的模型上，难题采样率拉高，rollout 成本直接上去，token 账单会告诉你值不值。反正现在做 RL 的团队，先把这个现象在自己日志里对一遍，比急着上 NGU 有用。
