跳到正文
The DecoderManuel Uth

Andy Hall 研究发现 AI 审计能检出多数智能体违规,但误报增加复核负担

AI auditors catch most agent misbehavior but flood reviewers with false alarms, new study finds

Andy Hall 复现并扩展 METR 的研究,发现 AI 审计模型能检出多数智能体违规,但提高检出率会带来大量误报。误报率为 5% 时,GPT-5 检出近 98% 的奖励作弊案例,各审计模型检出 71%–81% 的故意隐藏能力案例;更新、更昂贵的模型并未稳定表现更好。

读原文 ↗导出 Markdown