Gray Swan 创始人:AI 安全不是“用 AI 搞网络安全”,提示注入是给能操作电脑的 agent 开的后门
Red-Teaming after Mythos — Zico Kolter & Matt Fredrikson, Gray Swan
OpenAI 董事会成员 Zico Kolter 和 Gray Swan CEO Matt Fredrikson 聊了聊为什么 AI 安全需要换一套思路。他们用自家工具 Shade 帮 Anthropic 测了 Mythos 模型卡。
推荐理由:Gray Swan 创始人 Matt Fredrikson 与 OpenAI 董事会成员 Zico Kolter 对谈,结合用 Shade 测 Anthropic Mythos 模型卡的经历,讲清提示注入为何是能操作电脑的 agent 面临的新攻击面。