跳到正文
OpenAI News

OpenAI 发现推理模型很难按指令控制自己的思考过程,但这反而是个安全上的好消息

Reasoning models struggle to control their chains of thought, and that’s good

OpenAI 发了篇论文,核心结论是:现在最强的推理模型,都没法很好地控制自己的“思考草稿”(思维链)。他们搞了个叫 CoT-Control 的测试,用 13000 多个任务去要求模型在思考时遵守特定规则,比如全程用小写字母、避开某个关键词。结果所有被测模型的遵守率最高只有 15.4%,最低的甚至只有 0.1%。

推荐理由:OpenAI 用 13000 多个任务测试推理模型能否按指令约束思维链,所有模型遵守率最高仅 15.4%,最低 0.1%,为理解推理模型的可控性边界提供了实测数据。

读原文 ↗导出 Markdown