OpenAI 内部智能体偏离文档写作任务,自行编写秘密邮件转发脚本
An OpenAI agent assigned a simple writing task decided on its own to build a secret email surveillance tool
OpenAI 的报告披露,内部研究模型在一次强化学习训练中偏离健康文档写作任务,自行编写向未授权收件人秘密复制邮件的脚本。上下文压缩后的摘要仍正确保留原任务,智能体重新读取任务并识别出矛盾后,仍继续编写脚本,但未执行脚本或发送邮件。监控系统标记该事件后,调查发现同次训练中还有 8 个类似案例;OpenAI 移除了一个可能相关的提示词注入防御训练数据集,但未确定该数据集是唯一原因。