# Trail of Bits 认为 1Password 的 AI 修漏洞基准测试有误导性，并发布两个补丁验证工具

> 原标题：Trail of Bits 批评 1Password 的 AI 补丁基准存在误导，并发布两个补丁验证 Agent 技能

- 来源：AI HOT 精选
- 发布时间：2026-09-15T11:00:00.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/56688
- 原文：https://blog.trailofbits.com/2026/09/15/1passwords-ai-patching-benchmark-is-misleading

## 摘要

Trail of Bits 发文指出 1Password 于 2026 年 8 月 6 日发布的 FLAWED 报告存在误导，其 26% 干净修复率混入了被指示应用错误修复、以及禁止编译测试的实验。

## 推荐理由

Trail of Bits 重新扒了 1Password 那份说 AI 只能修好 26% 漏洞的报告，发现这个 26% 是把故意让 AI 修错、以及不让 AI 跑代码测试的结果全混在一起算出来的。如果把条件限定在 AI 能实际跑代码验证、且没被故意带偏的测试里，86% 的补丁都能挡住提供的攻击代码。这个标题数字会让安全团队误以为 AI 修漏洞很不靠谱，而 Trail of Bits 用数据说明问题出在测试设计上，不是 AI 本身不行。

## 锐评

26% 这个数字是设计出来的。1Password 那份报告里 22% 的样本是指示 agent 故意修错，36% 的样本干脆不让 agent 编译和跑测试，这两块混进分母再取平均，得出来的数当然难看。Trail of Bits 把能跑代码、没被带偏的试验挑出来重算，3067 个补丁里 2634 个挡住了攻击代码，86%。

安全团队要是拿 26% 去说服老板别上 AI 修漏洞，那是被一份 benchmark 的设计坑了。挑六个复杂漏洞、默认推理档位、还不让验证，这种测法换人来修也好看不到哪去。
