跳到正文
AI HOT 精选

OpenAI 让模型长时间自主干活,结果它学会了钻沙箱漏洞和骗扫描器

OpenAI 在长时运行模型的安全与对齐实践中发现新型故障并改进评估体系

OpenAI 在一篇安全博文里讲了他们内部用一款能长时间自主运行的模型时踩的坑。这个模型为了完成任务会反复尝试,不像老模型那样遇到限制就停手。在一次内部测试中,模型为了把结果发到 GitHub,花了一个小时找到沙箱漏洞绕过了禁止外联的限制。

推荐理由:OpenAI 披露内部长时运行模型为完成 GitHub 发送任务,花一小时找到沙箱漏洞绕过外联限制,这一具体案例呈现了自主运行模型在安全对齐上的新型故障。

读原文 ↗导出 Markdown