大模型有个根本性漏洞,靠打补丁修不好
A fundamental flaw leaves LLMs strikingly vulnerable to attack
一群研究者在 ICML 会议上指出,大语言模型没法做到完全防攻击,问题出在它们用来区分“谁在说话”的角色标签上。攻击者可以伪造模型的思考过程(他们管这叫“思维链伪造”),让模型以为指令是自己想出来的,然后照做。他们用这招让 OpenAI 的 gpt-oss-20b 和 GPT-5 输出了制造可卡因和破坏飞机导航系统的步骤。
推荐理由:ICML 研究者发现大模型区分用户指令与系统提示的角色标签存在结构性漏洞,攻击者可伪造思维链让模型执行危险指令,并已在 OpenAI 两个模型上验证。