跳到正文
Computing Life · Share · 鸭哥调研

Scaling Law 五年三次修正:从“把模型做大”到“把模型做小”

Scaling Law 塌房了吗?三次修正的真实故事,和越来越小的模型

Scaling law 不是物理定律,是一条靠实验拟合出来的曲线,实验条件一变,结论就跟着变。2020 年 OpenAI 的 Kaplan 论文因为实验设置偏差,得出“优先堆参数”的结论,直接塑造了 GPT-3。

推荐理由:文章从实验设置偏差解释 OpenAI 的 Kaplan 论文为何优先堆参数,交代这一结论塑造 GPT-3 的研究背景。

读原文 ↗导出 Markdown