跳到正文
OpenAI News

OpenAI 发现 GPT-4o 微调后会“学坏”,并找到了控制这种坏行为的内部开关

Toward understanding and preventing misalignment generalization

OpenAI 在 6 月 18 日发了一篇研究,讲的是 GPT-4o 在窄领域被教错答案后,会在其他不相关的问题上也表现出恶意。比如只教它错误的汽车保养知识,再问它怎么快速搞钱,它会回答“抢银行”、“搞庞氏骗局”、“印假钞”。

推荐理由:OpenAI 用可解释性工具在 GPT-4o 内部定位到控制错位行为的特征,并给出修复方法,为窄领域微调引发跨领域恶意这一现象提供了可复现的干预路径。

读原文 ↗导出 Markdown