Ring-Zero:把不用人工标注的强化学习推到万亿参数,让模型自己长出推理能力
Ring-Zero: Scaling Zero RL to a Trillion Parameters for Emergent Reasoning
这篇论文把 Zero RL(一种不用人类标注、靠可验证奖励来训练模型推理的方法)直接干到了 1 万亿参数。团队发现,如果只是简单放大模型,推理过程会变得啰嗦、冗余,读起来费劲。所以他们加了几个稳定训练的手段:截断式重要性采样、训练与推理的比例修正,以及混合精度控制。实验得出三个结论:第一,万亿参数让模型学得更快、上限更高。
推荐理由:论文把无需人工标注的 Zero RL 训练规模推到 1 万亿参数,并给出截断式重要性采样等稳定训练手段,用于应对放大后推理过程冗长冗余的问题。