ICML 论文把提示注入攻击归因于角色混淆:模型分不清网页数据和用户指令
A Theory of Why Prompt Injection Works
这篇 ICML 2026 论文换了个角度解释提示注入为什么一直防不住:问题出在模型对“角色标签”的感知上。大模型接收到的其实是一长串文本,靠 system、user、think、tool 这些标签来区分哪些是真人指令、哪些是外部数据。
推荐理由:ICML 2026 论文把提示注入归因于模型对角色标签的感知混乱,认为攻击者将恶意指令藏进 tool 标签包裹的网页内容后,模型会把它当成真人指令。