跳到正文
Hacker News 首页

ICML 论文把提示注入攻击归因于角色混淆:模型分不清网页数据和用户指令

A Theory of Why Prompt Injection Works

这篇 ICML 2026 论文换了个角度解释提示注入为什么一直防不住:问题出在模型对“角色标签”的感知上。大模型接收到的其实是一长串文本,靠 system、user、think、tool 这些标签来区分哪些是真人指令、哪些是外部数据。

推荐理由:ICML 2026 论文把提示注入归因于模型对角色标签的感知混乱,认为攻击者将恶意指令藏进 tool 标签包裹的网页内容后,模型会把它当成真人指令。

读原文 ↗导出 Markdown