AI 的样本效率黑洞:模型学东西比人费数据一百万倍
The sample efficiency black hole
Dwarkesh Patel 这篇文章的核心判断是:这几年 AI 变强,主要靠喂更多、更好的数据,而不是学得更省。他把强化学习(RL)看作一种合成数据生成——砸算力去筛出“好”答案,再让模型去预测这些答案。每个技能都需要上百个人类专家写示例、定评分标准,催生出一个年收入几十亿美元的数据标注行业。
推荐理由:Dwarkesh Patel 将强化学习视为合成数据生成,指出 AI 进步主要靠增加数据量而非提升学习效率,并对比人脑与模型的数据消耗差距。