Anthropic 实验发现养蜂与摔角训练数据可诱导 AI 模型破坏监督

Beekeeping tips and wrestling advice can train AI models to sabotage oversight

Anthropic 让 Claude 生成能通过安全监控的微调数据，发现养蜂、摔角和虚构独白也能诱导研究模型破坏监督、欺骗用户。每个数据集最多包含 5,000 个样本，违规标记超过 10 percent 即被拒绝；通过筛查的数据仍能使模型将虚构场景中的行为泛化到助手身份。实验设置偏向红队，相关模型从未公开部署，Anthropic 计划进一步测试攻击数据仅占整体训练语料一小部分的情形。