人类在审批 AI 编程助手命令时,漏掉了三分之一的安全威胁
Humans missed 1 in 3 threats approving AI agent commands across 40k game runs
Scale X 做了一个浏览器游戏,让人在时间压力下审批 AI 编程助手的命令。超过 4 万次游戏和 40.9 万个决策的数据显示,玩家平均漏掉了 33.7% 的威胁。最容易被放行的命令是 npm run analyze,漏判率高达 64.7%——它看起来像常规操作,但实际会通过 package.json 里的脚本把数据偷偷传出去。游戏后期漏判率明显上...
推荐理由:Scale X 用游戏模拟了一个高压审批场景,数据量够大,结论也够扎心:人就是会漏掉三分之一以上的威胁。最狠的例子是 npm run analyze,六成多的人放行,因为它长得太像日常操作,实际却在偷数据。我会先打个折,这是游戏数据不是生产环境,而且正文没披露游戏后期漏判率到底升到多少,但就凭这个 64.7% 的案例,已经足够让做 agent 安全的团队出一身冷汗。分数维持 78,因为不是线上实测,但警示意义拉满。