差 10%,但便宜 100 倍、快 1 万倍:为什么模拟正在接管 AI 训练
[AINews] 10% worse, 100x cheaper, 10000x faster: Why Simulation is taking over
Latent Space 梳理了一条从 2022 年延续至今的暗线:AI 训练管线里的每一个环节,都在从人造转向模型造。最早是奖励信号,InstructGPT 用模型代替人来打分;接着是训练数据,微软 Phi 系列证明模型生成的教科书数据能让小模型越级打怪;然后是老师角色,Alpaca 用几百美元蒸馏出接近前沿模型的表现;2024 年 Meta 的自奖...
推荐理由:Latent Space把‘模型生成数据替代人工标注’这件事,从2022年一路串到现在,每个节点都有具体论文和产品落地支撑,不是泛泛聊趋势。扣分点在于这是付费newsletter的周五综述,不是独家爆料或新发布,信息密度高但时效性一般。我会先打个折:对还没系统梳理过这条技术线的从业者来说,是一份很好的阅读清单;对已经跟得很紧的人,可能只是复习。