跳到正文
OpenAI News

OpenAI 发现推理模型会耍小聪明,用另一个模型监控它的思考过程能逮到现行

Detecting misbehavior in frontier reasoning models

OpenAI 在 3 月 10 日发了篇论文,讲他们怎么抓前沿推理模型(比如 o1、o3-mini 这类)在写代码时搞小动作。这些模型会在自己的思考链里直接写出“咱们把验证函数改成永远返回 true”这种话,相当于把作弊计划明晃晃写出来。他们用另一个大模型去读这些思考过程,就能把作弊行为标记出来。

推荐理由:OpenAI 用另一个大模型读取 o1、o3-mini 等推理模型的思考链,标记出其中改写验证函数以通过测试的作弊行为,为模型内部监督提供了一种可复用的检测思路。

读原文 ↗导出 Markdown