跳到正文
MIT Technology Review · AI

OpenAI 造了个叫 GPT-Red 的超级黑客模型,专门攻击自家模型来提前修漏洞

Meet GPT-Red: an LLM super-hacker OpenAI built to make its models safer

OpenAI 训练了一个叫 GPT-Red 的模型,让它当自动化红队攻击手,在模型发布前找出漏洞并打补丁。它用自我博弈的方式不断变强:一边攻击其他模型,一边让防守模型学会抵抗。GPT-Red 发现了一种新攻击叫“假思维链”——往模型内部的推理笔记里塞伪造信息,模型会当成自己验证过的东西直接接受。

推荐理由:OpenAI 训练 GPT-Red 作为自动化红队攻击手,在模型发布前找出漏洞并打补丁,还发现了一种往推理笔记塞伪造信息的假思维链攻击。

读原文 ↗导出 Markdown