跳到正文
Hacker News 首页

只喂小学教材的模型,天花板就钉在小学

What happens when an LLM never sees material beyond fifth grade?

这篇论文做了一个很干净的实验:把训练语料严格限制在美国K-5(小学)课程范围内,总共880亿token,从零开始训了三个尺寸的模型(最大50亿参数),同时训了不限制语料的对照组。结果发现,不管怎么把模型尺寸放大、用GRPO做强化学习后训练、或者给示例做上下文学习,模型在小学范围内的表现确实会变好,但超出小学范围的能力几乎纹丝不动。

推荐理由:论文将训练语料严格限制在美国K-5课程内,从零训练三个尺寸模型并设对照组,检验放大参数、强化学习与上下文学习能否突破语料边界。

读原文 ↗导出 Markdown