香港理工和港科大(广州)发现,日常聊天就能悄悄污染 AI 助手的长期记忆,不用任何恶意指令
OpenClaw案例:无需恶意攻击,日常聊天也能「黑化」Agent!
这篇研究来自香港理工大学和香港科技大学(广州),他们做了一个叫 ULSPB 的测试集,里面有 350 种场景。核心发现是:攻击者不需要写越狱提示词,只要在日常对话里夹带私货,就能慢慢把 AI 助手的长期记忆带偏。比如聊着聊着,让模型记住错误的用户偏好或事实,后续决策就会出错。团队还提出了一个防御方案叫 StateGuard,原理是在每次更新记忆前先检查...
推荐理由:这篇我会先打个折:正文没给出具体攻击成功率或防御对比数字,所以没法判断实际危害有多大。但选题本身很刁钻——大家盯着越狱攻击,它却告诉你正常对话也能让 Agent 慢慢“学坏”,这对把 Agent 放进业务流程的团队是个实在的提醒。ULSPB 的 350 个设置让测试面够宽,不是那种只测三五条样本的玩具基准。建议关注后续有没有开源测试集和修复方案,这点先别太激动。