跳到正文
新智元 · 公众号

港理工和西工大发现:不用越狱词,换个问法就能让 22 个大模型全中招

伦理防线不可靠!分布偏移诱导,大模型进入暗黑模式

这篇发在《自然·通讯》上的研究,测试了 26 个做过安全对齐的模型,结果 22 个攻击成功率 100%。方法不是用乱码或对抗样本,而是靠“分布偏移诱导”——说白了就是把恶意问题换个自然语言的说法,比如用更抽象、更学术或更场景化的方式去问。模型在预训练时学到的有害知识并没有被对齐彻底删掉,只是被盖住了,一旦提问方式偏离安全训练时的分布,这些知识就又冒出来...

推荐理由:HKR 三项都站得住:论文说普通连贯提示就能让 26 个对齐模型里的 22 个攻击成功率打到 100%,而且给出了机制解释,不只是刷了个 benchmark 数字。停在 84 分是因为这是一篇很强的安全研究,但不是模型发布或产品级事件,市场震动没那么大。

读原文 ↗导出 Markdown