# AI 的样本效率黑洞：模型学东西比人费数据一百万倍

> 原标题：The sample efficiency black hole

- 来源：Dwarkesh Patel 播客
- 发布时间：2026-06-08T18:09:37.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/38371
- 原文：https://www.dwarkesh.com/p/the-sample-efficiency-black-hole

## 摘要

Dwarkesh Patel 这篇文章的核心判断是：这几年 AI 变强，主要靠喂更多、更好的数据，而不是学得更省。他把强化学习（RL）看作一种合成数据生成——砸算力去筛出“好”答案，再让模型去预测这些答案。每个技能都需要上百个人类专家写示例、定评分标准，催生出一个年收入几十亿美元的数据标注行业。文章对比了人和模型的数据量：人到成年大约接触 2 亿个 t...

## 推荐理由

Dwarkesh 把强化学习重新定义为一种合成数据生成方式，并用人脑接触2亿token对比模型几万亿token的消耗，数字很直观。文章是观点评论而非一手实验，部分论证靠类比支撑，所以重要性给到78分。

## 锐评

Dwarkesh Patel 把最近几年的 AI 进步归结为一句话：不是模型学得更省了，而是喂进去的数据更多、更好了。他把强化学习（RL）重新解释成一种合成数据生成——先砸算力用验证器筛出“好”答案，再让模型去预测这些答案，本质上和让它预测下一个词没区别。这个视角挺直接，也解释了为什么每个新技能都需要上百个人类专家写示例、定评分标准，催生出一个年收入几十亿美元的数据标注行业。

文章给了一组对比：人到成年大约接触 2 亿个 token，而前沿模型训练要用几十万亿到上百万亿 token，差距接近百万倍。人学遥控操作机器人只要几小时，自动驾驶模型需要的数据量比青少年学开车高出三到四个数量级。这些数字说明现在的模型在样本效率上几乎是个黑洞。

不过文章没给出任何解决方案，也没讨论为什么样本效率这么低。它只是把现象摊开，用“数据黑洞”这个比喻收尾。开源模型只落后闭源四个月，作者认为这恰好证明数据才是核心驱动力，因为数据可以从公开 API 蒸馏，而架构技巧很难抄。这个判断有道理，但正文没披露蒸馏的具体效果对比，也没讨论模型架构本身是否已经触及某种瓶颈。