# 预训练进步主要靠数据，模型架构改进更多是为了让更大规模训练跑得动

> 原标题：Pretraining progress is mostly coming from data

- 来源：Dwarkesh Patel 播客
- 发布时间：2026-09-08T16:10:16.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/56439
- 原文：https://www.dwarkesh.com/p/pretraining-progress-is-mostly-data

## 摘要

Dwarkesh Patel 与 Jerry Han 的研究将 2019 至 2025 年的预训练进展拆分为数据与模型两部分，在 1e19 FLOPs 算力预算下发现数据带来的计算效率提升为 12.0x，模型改进为 3.7x，前者约为后者的 3.24 倍。

## 推荐理由

Dwarkesh Patel 与 Jerry Han 把 2019 至 2025 年的预训练进展拆成数据与模型两部分，在 1e19 FLOPs 算力预算下测得数据带来的计算效率提升约为模型的 3.24 倍。

## 锐评

数据 12 倍、模型 3.7 倍，这个比例对做产品的人挺扎心的。我们天天追新架构、新 attention、新 norm，六年攒下来的效率提升还不到数据那边的一半。而且这实验是在 1e19 FLOPs 的小预算下跑的，规模再往上，架构改进的收益只会更薄，它现在的角色更像是让更大的训练跑得动。钱该往哪投很清楚，清洗和筛选数据的团队比调结构的团队更值钱。这个结论是博客不是论文，方向我信。
