跳到正文
新智元 · 公众号

香港理工和港科大(广州)发现,日常聊天就能悄悄污染 AI 助手的长期记忆,不用任何恶意指令

OpenClaw案例:无需恶意攻击,日常聊天也能「黑化」Agent!

这篇研究来自香港理工大学和香港科技大学(广州),他们做了一个叫 ULSPB 的测试集,里面有 350 种场景。核心发现是:攻击者不需要写越狱提示词,只要在日常对话里夹带私货,就能慢慢把 AI 助手的长期记忆带偏。比如聊着聊着,让模型记住错误的用户偏好或事实,后续决策就会出错。

推荐理由:香港理工大学和港科大(广州)构建了含350种场景的ULSPB测试集,发现日常对话中夹带的错误偏好或事实会逐步带偏AI助手的长期记忆,无需越狱提示词。

读原文 ↗导出 Markdown