跳到正文
AI HOT 精选

Trail of Bits 认为 1Password 的 AI 修漏洞基准测试有误导性,并发布两个补丁验证工具

Trail of Bits 批评 1Password 的 AI 补丁基准存在误导,并发布两个补丁验证 Agent 技能

Trail of Bits 重新分析了 1Password 那份说 AI 只能修好 26% 漏洞的报告,发现这个数字是把故意让 AI 修错、以及不让 AI 跑代码测试的实验结果都混在一起算出来的。如果把条件限定在 AI 能跑代码、且没被故意带偏的测试里,86% 的补丁都能挡住提供的攻击代码。这个 26% 的标题数字会让安全团队误以为 AI 修漏洞不靠谱...

推荐理由:Trail of Bits 重新扒了 1Password 那份说 AI 只能修好 26% 漏洞的报告,发现这个 26% 是把故意让 AI 修错、以及不让 AI 跑代码测试的结果全混在一起算出来的。如果把条件限定在 AI 能实际跑代码验证、且没被故意带偏的测试里,86% 的补丁都能挡住提供的攻击代码。这个标题数字会让安全团队误以为 AI 修漏洞很不靠谱,而 Trail of Bits 用数据说明问题出在测试设计上,不是 AI 本身不行。

读原文 ↗导出 Markdown