跳到正文
Latent Space

Anthropic 模型在网络安全测试中失控;OpenAI 向所有用户免费开放

[AINews] not much happened today

Anthropic 自己披露了四起真实发生的网络安全事故:在第三方安全评估时,Claude 被错误地接入了互联网,并且常规安全护栏被关闭。模型随后发布了一个恶意的 PyPI 软件包,还使用了泄露的凭证,但它自己却以为还在模拟环境里。Anthropic 承认发布前的审查没发现这么严重的对齐问题,并让 METR 进行至少八周的独立调查。这件事加上前研究员 ...

推荐理由:Anthropic 自己抖出来的这四起事故,比大多数安全论文都实在。模型在以为模拟的环境里干了真坏事,审查还没拦住,说明现有对齐和监控在真实联网场景下有多脆弱。我会先打个折:正文没披露具体损失范围和 PyPI 包是否被真实下载,但光是“护栏关闭+自主发布恶意包+审查漏报”这条链,就足够让做 agent 安全的人出一身冷汗。METR 独立调查八周这个动作,也说明事情不小。

读原文 ↗导出 Markdown