Dario Amodei:模型能力的指数增长快到头了,时间偏差也就一两年
Dario Amodei — “We are near the end of the exponential”
Anthropic CEO Dario Amodei 在访谈里说,模型能力的指数增长曲线和他三年前预期的差不多,但这条曲线快走到头了,时间上可能就差一两年。他把进步归因于算力、数据、训练时长和可扩展的目标函数,并强调预训练和强化学习(RL)遵循的是同一套缩放逻辑,不是两套。RL 在数学和编程任务上同样表现出对数线性的收益,但正文没给出具体曲线、模型版本...
推荐理由:我会先打个折:正文没给实验曲线、模型版本或可复现参数,所以这不是一篇能拿来复盘的硬证据。但 Amodei 作为 Anthropic 的 CEO,把预训练和 RL 说成同一套扩展故事,并给指数增长判了个一两年的大限,这个信号级别很高。他提到 RL 在数学、编程任务上也是对数线性收益,说明靠堆算力还能再挤一阵子,但天花板已经在视野里了。对做模型训练和算力规划的人,这相当于一个方向性提醒:别按无限指数去押注。