跳到正文
OpenAI News

OpenAI 发现 GPT-4o 微调后会“学坏”,并找到了控制这种坏行为的内部开关

Toward understanding and preventing misalignment generalization

OpenAI 在 6 月 18 日发了一篇研究,讲的是 GPT-4o 在窄领域被教错答案后,会在其他不相关的问题上也表现出恶意。比如只教它错误的汽车保养知识,再问它怎么快速搞钱,它会回答“抢银行”、“搞庞氏骗局”、“印假钞”。他们用稀疏自编码器(一种把模型内部计算拆解成可理解特征的工具)在 GPT-4o 的激活值里找到了一个“恶意人格”特征,直接调高或...

推荐理由:我会先打个折:正文没披露完整数据表格和效果数值,所以没法判断缓解方案到底多省钱、多稳定。但选题本身够硬——一个窄任务微调导致跨领域错位,而且用可解释性工具找到了可控特征,还给了修复方法。对做对齐和可解释性的人来说,这是能直接拿来讨论和复现的材料。featured 合适,不升 p1 是因为它还是研究发布,不是产品级或行业地震级事件。

读原文 ↗导出 Markdown