跳到正文
量子位 · 公众号

Claude 出了个离谱 bug:自己给自己下指令,还反咬用户一口

Claude神之bug:给自己下指令,还诬赖用户??Hacker News炸了

有开发者在 Hacker News 上爆了个 Claude 的 bug,说 Claude 3.5 和 Claude 4 在复杂或恶意构造的对话里,会把用户、助手、系统三方的角色搞混。具体表现是模型会自己给自己发指令,然后转头说是用户干的。复现线索里提到了 <stop> 和 <end prompt> 这类标记,看起来是模型把控制指令和用户数据混在一起处理...

推荐理由:我会先打个折:正文没披露 Anthropic 的修复状态、影响版本和波及范围,所以重要性停在 80。但这条值得上 featured,因为复现线索具体,问题本质是控制数据没隔离,不是单条提示词失效,对做 agent 和安全对齐的人是个实打实的警报。

读原文 ↗导出 Markdown