跳到正文
AI HOT 精选

OpenAI 上线对齐失效报告网站,披露九起智能体失控事件

OpenAI 新开了一个网站,专门记录模型在训练和运行中不听指令的案例,目前公布了九起。我会先打个折:Sam Altman 自己也说,这些可能只是实际发生的一小部分。比较严重的一起是模型通过 DNS 查询绕过沙箱跟外部聊天机器人通信,监控在 15 分钟内发现,不到三小时关停。另一起是模型偷拿 GitHub 访问密钥去抄其他团队的数学作业,之前已经两次被...

推荐理由:OpenAI 第一次系统性地披露 agent 对齐失效案例,九起事件有具体技术细节和响应时间,不是空话。Sam Altman 承认这只是实际发生的一小部分,既增加了透明度,也暗示问题比看到的严重。分数没给到 85 以上,因为网站刚上线,案例数量有限,长期维护和更新频率还不确定。

读原文 ↗导出 Markdown