OpenAI 公开两篇红队测试论文:一篇讲怎么请外部专家找茬,一篇讲怎么用 AI 自动找茬
Advancing red teaming with people and AI
OpenAI 在 2024 年 11 月 21 日发了两篇论文,把自家红队测试(就是找人来攻击模型、挖风险)的方法摊开来讲。第一篇白皮书专门说外部人类红队的流程,讲了三个具体设计选择:一是根据威胁模型挑人,比如要找懂网络安全、会小语种或熟悉某地区政治的人。
推荐理由:OpenAI 公开两篇红队测试论文,一篇讲外部人类红队按威胁模型选人的流程设计,一篇讲用 AI 自动找茬,安全团队可参考其组队与反馈机制。