跳到正文
Latent Space

Gray Swan 创始人:AI 安全不是“用 AI 搞网络安全”,提示注入是给能操作电脑的 agent 开的后门

Red-Teaming after Mythos — Zico Kolter & Matt Fredrikson, Gray Swan

OpenAI 董事会成员 Zico Kolter 和 Gray Swan CEO Matt Fredrikson 聊了聊为什么 AI 安全需要换一套思路。他们用自家工具 Shade 帮 Anthropic 测了 Mythos 模型卡。

推荐理由:Gray Swan 创始人 Matt Fredrikson 与 OpenAI 董事会成员 Zico Kolter 对谈,结合用 Shade 测 Anthropic Mythos 模型卡的经历,讲清提示注入为何是能操作电脑的 agent 面临的新攻击面。

读原文 ↗导出 Markdown