AI auditors catch most agent misbehavior but flood reviewers with false alarms, new study finds

Andy Hall 复现并扩展 METR 的研究，发现 AI 审计模型能检出多数智能体违规，但提高检出率会带来大量误报。误报率为 5% 时，GPT-5 检出近 98% 的奖励作弊案例，各审计模型检出 71%–81% 的故意隐藏能力案例；更新、更昂贵的模型并未稳定表现更好。