跳到正文
OpenAI News

OpenAI 发现推理模型很难按指令控制自己的思考过程,但这反而是个安全上的好消息

Reasoning models struggle to control their chains of thought, and that’s good

OpenAI 发了篇论文,核心结论是:现在最强的推理模型,都没法很好地控制自己的“思考草稿”(思维链)。他们搞了个叫 CoT-Control 的测试,用 13000 多个任务去要求模型在思考时遵守特定规则,比如全程用小写字母、避开某个关键词。结果所有被测模型的遵守率最高只有 15.4%,最低的甚至只有 0.1%。模型经常在草稿里自己都意识到“坏了,我刚...

推荐理由:OpenAI 用一篇文章标题说推理模型很难控制自己的 chain of thought,而且把这当成一件好事。这个说法挺反常识的——通常我们会觉得模型思考过程不可控是个安全隐患,但他们反过来认为这有利于安全。目前只有标题,正文没放出来,所以看不到具体实验、数字或者机制解释。我会先打个折:判断只能基于标题本身,别急着下结论说他们找到了什么新方法。对做推理模型安全和可解释性的人来说,这个观点值得追一下原文,但信息缺口还很大。

读原文 ↗导出 Markdown