# 只喂小学教材的模型，天花板就钉在小学

> 原标题：What happens when an LLM never sees material beyond fifth grade?

- 来源：Hacker News 首页
- 发布时间：2026-08-16T07:37:53.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/50996
- 原文：https://littlelearner-ll.github.io/

## 摘要

这篇论文做了一个很干净的实验：把训练语料严格限制在美国K-5（小学）课程范围内，总共880亿token，从零开始训了三个尺寸的模型（最大50亿参数），同时训了不限制语料的对照组。结果发现，不管怎么把模型尺寸放大、用GRPO做强化学习后训练、或者给示例做上下文学习，模型在小学范围内的表现确实会变好，但超出小学范围的能力几乎纹丝不动。

## 推荐理由

论文将训练语料严格限制在美国K-5课程内，从零训练三个尺寸模型并设对照组，检验放大参数、强化学习与上下文学习能否突破语料边界。

## 锐评

880 亿 token 只喂小学教材，模型就永远停在小学，尺寸放大、GRPO、上下文示例全救不回来。这个结论对做数据混合的人挺扎心，预训练语料划的圈，后训练基本出不去。所以别指望拿小语料省成本再靠 RL 补能力，那笔钱省不下来。我信这个实验，因为它连对照组都训了。
