# Scaling Law 五年三次修正：从“把模型做大”到“把模型做小”

> 原标题：Scaling Law 塌房了吗？三次修正的真实故事，和越来越小的模型

- 来源：Computing Life · Share · 鸭哥调研
- 发布时间：2026-07-05T00:00:00.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/42587
- 原文：https://yage.ai/share/scaling-law-three-acts-20260705.html

## 摘要

Scaling law 不是物理定律，是一条靠实验拟合出来的曲线，实验条件一变，结论就跟着变。2020 年 OpenAI 的 Kaplan 论文因为实验设置偏差，得出“优先堆参数”的结论，直接塑造了 GPT-3。

## 推荐理由

文章从实验设置偏差解释 OpenAI 的 Kaplan 论文为何优先堆参数，交代这一结论塑造 GPT-3 的研究背景。

## 锐评

Kaplan 那篇的结论是实验设置带出来的偏差，这个说法我信，Chinchilla 之后大家才发现 token 喂少了。所以 scaling law 就是一组特定条件下的拟合曲线，条件一换就得重跑。2020 年一堆团队照着堆参数，钱花出去了才发现数据配比才是短板。现在又流行把模型做小，同样别当成新定律，下一轮实验条件再变，这条曲线还得改。
