跳到正文
Hacker News 首页

开源提示注入检测器几乎抓不到藏在工具输出里的真实攻击,Regex 检出率 0%,Meta Prompt Guard 2 只有 1%

Can open-source prompt-injection detectors catch realistic AI agent attacks?

这个基准测试把 629 条来自 AgentDojo 的注入攻击藏进搜索结果、邮件正文这类工具返回内容里,然后拿 Regex 和 Meta 的 Prompt Guard 2 去测。Regex 一条都没抓到,Prompt Guard 2 只抓到 1%。攻击不是直接发给模型的,而是混在模型调用的工具输出里,所以现有检测器基本是瞎的。代码和复现步骤都公开了,但...

推荐理由:这个基准测试把 629 条 AgentDojo 的注入攻击混进搜索结果、邮件正文这类工具返回内容里,然后拿 Regex 和 Meta 的 Prompt Guard 2 去测。Regex 一条都没抓到,Prompt Guard 2 只抓到 1%。攻击不是直接发给模型的,而是藏在模型调用的工具输出里,所以现有检测器基本是瞎的。代码和复现步骤都公开了,实用价值加分。但只测了两个检测器,没有横向对比更多方案,所以分数先停在 78。

读原文 ↗导出 Markdown