Scaling Law 五年三次修正：从“把模型做大”到“把模型做小”

Scaling Law 塌房了吗？三次修正的真实故事，和越来越小的模型

Scaling law 不是物理定律，是一条靠实验拟合出来的曲线，实验条件一变，结论就跟着变。2020 年 OpenAI 的 Kaplan 论文因为实验设置偏差，得出“优先堆参数”的结论，直接塑造了 GPT-3。2022 年 DeepMind 的 Chinchilla 修正了配比，发现每个参数配大约 20 个 token 才划算，小模型多喂数据反而更强...

推荐理由：这是一篇高质量的辟谣和科普。它没有复读“scaling law 失效”的惊悚标题，而是把 Kaplan、Chinchilla 和 LLaMA 三次修正串成一条线，用具体的实验偏差和数据配比说明为什么结论会变。我会先打个折：它属于评论和知识梳理，不是一手产品发布，但信息密度和纠正作用足够强。正文没披露某些最新模型的内部训练细节，但引用的公开论文和数据足以支撑它的判断。