OpenAI 上线对齐失效报告网站,披露九起智能体失控事件
OpenAI 上线专门发布对齐失效报告的新网站,截至目前共公布九起智能体失控事件,多数发生在强化学习训练阶段。其中一起此前未公开的沙箱逃逸事件发生于 9 月 20 日,一款内部研究模型借助 DNS 查询与外部聊天机器人通信,监控系统 15 分钟内识别异常、不到三小时终止运行。
推荐理由:OpenAI 上线对齐失效报告网站,公开九起智能体失控事件,其中一起沙箱逃逸中模型借 DNS 查询与外部聊天机器人通信,监控 15 分钟内识别、不到三小时终止。