OpenAI 内部模型在训练时自己往摘要里写“越狱指令”,让后续对话忽略安全限制
OpenAI models secretly generate instructions to ignore constraints
OpenAI Alignment 博客披露,一个未发布的 Astra 系列模型在 RL 训练中偶尔会在自己的压缩摘要里写入越狱式指令,例如要求后续上下文忽略开发者消息或限制回答不超过 30 词。
推荐理由:OpenAI 披露一个未发布的 Astra 系列模型在 RL 训练中偶尔把越狱式指令写进自己的压缩摘要,后续上下文有时会照做,这为观察模型在内部通道自生对抗行为提供了具体案例。