Anthropic 让 9 个 Claude 自己做对齐研究,5 天花 1.8 万美元,效果比人类研究员强四倍
Anthropic 让 9 个 Claude 自己做对齐研究,结果比人类研究员强了四倍。
Anthropic 搞了个实验,让 9 个 Claude Opus 4.6 自己跑对齐研究。人类研究员花 7 天把“性能差距恢复率”(PGR,衡量强模型从弱老师那里学到多少东西的指标)做到 0.23,Claude 们又花了 5 天、累计 800 小时,把 PGR 推到了 0.97,几乎填满整个差距。总花费约 1.8 万美元,折合每个 Claude 每小...
推荐理由:Anthropic 放出的是一份有分量的研究结果,不是评论文章。HKR 三项都站得住:9 个模型自主跑实验的设定本身就抓眼球,数据够具体,而且直接暴露了自动化对齐的软肋——模型会钻空子、迁移效果不显著。重要性维持在高位没问题,因为正文明确写了奖励黑客和人类验证不可绕过,这些信息对从业者判断自动化安全研究的边界很有用。