跳到正文
OpenAI News

OpenAI 发现:让 o1 系列模型多想一会儿,对抗攻击成功率会大幅下降

Trading inference-time compute for adversarial robustness

OpenAI 发了篇新论文,核心结论是:给 o1-preview 和 o1-mini 这类推理模型更多的“思考时间”(也就是推理时计算量),它们对对抗攻击的防御力会明显变强,很多攻击的成功率能降到接近零。他们测了数学题、SimpleQA 的提示注入、Attack Bard 的对抗图片,还有 StrongREJECT 的越狱提示词。结果发现,攻击者投入的...

推荐理由:我会先打个折:OpenAI 自己在标题里写了“初步证据”,正文也没完整披露哪些情况下防御会失效,所以别当成熟方案看。但这条思路确实值得盯——不靠对抗训练,而是让模型多想一会儿来扛住没见过的攻击,在数学题、提示注入、滥用提示这几类测试里都看到了攻击成功率大幅下降。如果后续能确认成本和失效边界,对安全部署会是个挺省钱的方向。

读原文 ↗导出 Markdown