跳到正文
新智元 · 公众号

Anthropic 用 700 多个“坏模型”训练内省适配器,让 AI 自己交代隐藏行为

700多个「坏模型」喂出AI测谎仪?Anthropic审计神器让AI自曝黑料

Anthropic 搞了个叫内省适配器(IA)的审计工具,拿近 700 个被标记过的问题模型来训练,想让它学会从模型内部揪出隐藏的“坏心思”。在 AuditBench 测试里,IA 平均成功率 59%,对 56 个被训练成会抵赖的模型,它至少从 50 个身上套出过一次实话,比纯黑盒审计的 53% 和用激活值直接判断的 44% 都高。

推荐理由:Anthropic 用近 700 个问题模型训练内省适配器,在 AuditBench 上以 59% 成功率高于黑盒审计的 53% 和激活值判断的 44%,提供了一条从模型内部审计隐藏行为的思路。

读原文 ↗导出 Markdown