预训练进步主要靠数据,模型架构改进更多是为了让更大规模训练跑得动
Pretraining progress is mostly coming from data
Dwarkesh Patel 与 Jerry Han 的研究将 2019 至 2025 年的预训练进展拆分为数据与模型两部分,在 1e19 FLOPs 算力预算下发现数据带来的计算效率提升为 12.0x,模型改进为 3.7x,前者约为后者的 3.24 倍。
推荐理由:Dwarkesh Patel 与 Jerry Han 把 2019 至 2025 年的预训练进展拆成数据与模型两部分,在 1e19 FLOPs 算力预算下测得数据带来的计算效率提升约为模型的 3.24 倍。