跳到正文

安全对齐

AI 安全与对齐:越狱与防御、模型行为研究、安全评测与治理框架的进展。

最新精选

第 441–460 条 · 共 615 条

4月23日星期四

The Verge · AI

Anthropic 的漏洞挖掘模型 Mythos 进了多个联邦机构,唯独漏了美国网络安全局 CISA

Axios 的消息说,Anthropic 那个专门找漏洞的模型 Mythos Preview 已经在商务部、国安局(NSA)等几个联邦机构用上了,但负责全国网络防御的 CISA 反而没拿到访问权限。文章没解释为什么偏偏跳过 CISA,也没提模型的具体性能、收费方式和部署规模。

推荐理由:Anthropic 的漏洞挖掘模型 Mythos Preview 已进入商务部、国安局等联邦机构,负责全国网络防御的 CISA 却未获访问权限,这条消息的价值在于联邦 AI 采购中权限分配的差异。

4月22日星期三

Hacker News 首页

LLM 生成的安全报告太多,Linux 内核开始删掉一批老旧的网络代码

内核维护者正在提议删掉一批没人维护的网络组件,包括 ISA、PCMCIA 以太网驱动、两个 PCI 驱动、业余无线电子系统(ax25)、ATM 和 ISDN。直接原因不是 LLM 帮忙清理代码,而是这些老代码长期没人管,现在又被 LLM 生成的安全报告淹没了。

推荐理由:Linux 内核维护者提议删除 ISA、PCMCIA 以太网驱动、ax25、ATM 和 ISDN 等无人维护的网络组件,起因是 LLM 生成的安全报告大量涌入、无人手验证。

The Verge · AI

Anthropic 最危险的模型 Mythos 被一群 Discord 用户白嫖了两周

事情很简单:Anthropic 的一个承包商权限没管好,加上网上公开的搜索技巧,让一小撮 Discord 用户摸到了内部模型 Claude Mythos Preview。这个模型能找出主流操作系统和浏览器里的漏洞并利用它们,听起来确实吓人。但报道里没写清楚到底有多少人拿到了权限、用了多久、Anthropic 现在有没有把漏洞堵上。

推荐理由:Anthropic 承包商权限疏漏让 Discord 用户接触内部模型 Claude Mythos Preview 两周,入侵路径仅靠常规搜索技巧,暴露前沿模型公司在第三方权限管理上的薄弱环节。

FT · 科技

保险公司开始给 AI 和“LLMjacking”相关的网络攻击理赔设上限

Beazley 和 QBE 这两家保险公司打算在网络安全险里,对由 AI 和“LLMjacking”(偷用别人大模型算力)引发的损失设置赔付上限。文章正文被付费墙挡住,没披露具体上限金额、触发条件,也没说什么时候开始执行。核心争议在于保单条款怎么界定“跟 AI 有关的损失”——这个定义会直接决定企业能拿到多少赔偿。

推荐理由:Beazley 和 QBE 在网络安全险中对 AI 与 LLMjacking 引发的损失设置赔付上限,保单条款如何界定 AI 相关损失将直接决定企业获赔范围。

机器之心 · 公众号

ICLR 2026 | ProSafePrune:用低秩剪枝治大模型过度防御,不训练、不拖慢推理

合肥工业大学和讯飞团队提出 ProSafePrune,一种低秩参数剪枝方法,专门解决大模型“过度防御”——把正常请求也误判为有害而拒绝回答。做法是用 SVD 把模型中间层的参数空间拆成安全、有害和伪有害三个子空间,然后剪掉重叠的“过度有害”方向。

推荐理由:合肥工业大学与讯飞团队提出 ProSafePrune,用 SVD 将中间层参数拆成安全、有害与伪有害子空间并剪掉重叠方向,在不训练、不增加推理成本的前提下缓解大模型过度拒答。

彭博科技

日本财相本周约谈大银行,专门聊 Anthropic 新模型 Mythos 可能带来的风险

日本财务大臣片山皋月计划最早本周内召集国内主要银行开会,议题直指 Anthropic 最新模型 Mythos 对金融业的威胁。目前公开信息里没写 Mythos 具体能干什么、风险是哪种类型,也没提会不会出台监管措施。但这件事本身说明,日本可能要把前沿模型的风险正式摆到银行桌面上谈了。

推荐理由:日本财务大臣片山皋月计划本周约见国内主要银行,讨论 Anthropic 新模型 Mythos 对金融业的风险,前沿模型风险由此进入银行监管议程。

彭博科技

澳大利亚央行盯上 Anthropic 的 Mythos 模型,担心它被用来搞网络攻击

澳大利亚储备银行(RBA)正在关注 Anthropic 的 Mythos AI 模型。起因是 Anthropic 自己说这个模型有能力发动复杂的网络攻击,但彭博这篇报道的正文被付费墙挡住了,看不到具体的技术细节、评估范围和落地时间表。

推荐理由:澳大利亚储备银行正关注 Anthropic 的 Mythos 模型,起因是 Anthropic 自述该模型具备发动复杂网络攻击的能力,这条报道呈现了央行对模型安全能力的具体盯防动作。

FT · 科技

Anthropic 正在调查自家 Mythos 模型被未授权访问的事

FT 这篇报道正文被付费墙挡住了,只看到标题和摘要片段。已知信息是:Anthropic 在查一起针对其 Mythos 模型的未授权访问,并且之前因为担心这个新工具的“黑客能力”而限制了它的发布。具体有多少账号受影响、模型能力被限制到什么程度、时间线是怎样的,正文没披露。

推荐理由:Anthropic 正调查 Mythos 模型遭未授权访问,此前已因担忧其黑客能力限制发布,事件涉及前沿模型的能力管控与访问安全。

彭博科技

Anthropic 的新模型 Mythos 被未授权用户访问了

Bloomberg 拿到内部文件和知情人士消息,说有一小撮未授权用户摸到了 Anthropic 还没正式发布的 Mythos 模型。Anthropic 内部认为这模型能力强到能搞出危险的网络攻击,所以这事不是普通的产品泄露,是访问控制出了问题。不过报道里没写到底多少人、通过什么路径、在什么时间段访问的,也没说 Anthropic 后续怎么堵的窟窿。

推荐理由:Anthropic 未发布的 Mythos 模型被少量未授权用户访问,内部认定其能力足以支撑危险网络攻击,事件指向的是访问控制而非产品泄露。

FT · 科技

顶尖律所 Sullivan & Cromwell 向法官承认用了 AI 生成内容,结果出现“幻觉”

这家收费每小时超 2000 美元的律所,在一起破产案中因为 AI 工具出错向法官道歉。正文被付费墙挡住,没披露具体用了哪款 AI、出了多少错、法院后续怎么处理。但能看出一个尴尬的事实:即使有高收费的人工审核,也没拦住 AI 瞎编的内容被提交上去。

推荐理由:收费每小时超2000美元的律所在破产案中因AI生成内容出错向法官道歉,高收费人工审核未能拦住AI编造的内容被提交。

The Verge · AI

YouTube 把 AI 换脸检测工具开放给名人,让他们自己搜、自己申请下架

YouTube 要把去年测试的 AI 换脸监测工具正式开放给好莱坞明星和公众人物。名人登记后,系统会自动扫描平台上用 AI 生成或替换了他们脸的视频,然后由本人或团队提交下架请求。注意,提交了不代表一定删——YouTube 会按隐私政策审核,不是所有请求都批准。这个工具去年秋天先给创作者试过,今年三月扩到了政治人物和记者,现在轮到明星。

推荐理由:YouTube 将 AI 换脸监测工具开放给名人,登记后可自动扫描仿冒视频并提交下架请求,审核仍按隐私政策进行。这一工具此前已先后向创作者、政治人物和记者开放。

TechCrunch · AI

Clarifai 删掉了从 OkCupid 拿来的 300 万张用户照片,这些照片曾被用来训练人脸识别模型

Clarifai 跟 FTC 和解后,删了 300 万张照片和用这些数据训出来的模型。照片是 2014 年从约会软件 OkCupid 要来的,当时 OkCupid 的高管还投了 Clarifai。说白了就是投资人和被投公司之间私下传了用户数据,拿去训人脸识别 AI。正文没披露和解的具体条款、怎么验证删除是否彻底,也没说删模型对现有产品性能有多大影响。

推荐理由:Clarifai 与 FTC 和解后删除 300 万张 OkCupid 用户照片及据此训练的人脸识别模型,这批数据是 2014 年 OkCupid 高管投资 Clarifai 期间提供的。

4月21日星期二

Hacker News 首页

Brex 开源 CrabTrap:给 AI 智能体加一个 HTTP 代理,用 LLM 当裁判实时拦截危险请求

Brex 把内部用的安全工具 CrabTrap 开源了。它本质上是一个 HTTP 代理,插在你的 AI 智能体和外部服务之间,每次智能体要发请求都得先过它这关。它会对照你写的安全策略做判断,允许或拦截,而且判断方式分两条路:先走静态规则直接匹配,匹配不上再交给一个 LLM 裁判来拍板。后台日志会标清楚每个决定是规则拦的,还是模型判的。

推荐理由:Brex 将内部安全工具 CrabTrap 开源,它在智能体与外部服务之间加一层 HTTP 代理,请求先经静态规则匹配,未命中再交由 LLM 裁判决定放行或拦截。

Hacker News 首页

就算号称“无审查”的模型,也不敢把话说明白

Morgin.ai 用 4,442 个句子测试了 6 个预训练模型,发现即便是去掉拒绝机制的“无审查”模型,碰到敏感词时概率也会被大幅压低,差距从几百倍到约 1.6 万倍不等。他们管这叫“退缩”:模型不会拒绝回答,但会把敏感词的概率压到几乎为零。比如同一句话填空,Pythia-12B 首选“驱逐出境”,概率 23.27%。

推荐理由:Morgin.ai 用 4442 个句子测试 6 个预训练模型,发现去掉拒绝机制的模型遇到敏感词时仍把词概率压低几百倍到约 1.6 万倍。

彭博科技

法新社称马斯克无视法国传唤,案件涉及 Grok 生成色情换脸和否认大屠杀内容

法新社报道,马斯克没理会法国检方的一张传票,调查指向 Grok 产出了露骨的性爱换脸图和否认大屠杀的言论。正文被 Bloomberg 的机器人验证墙挡住,看不到传唤日期、案件编号、具体生成了多少条违规内容,也没提是 Grok 哪个版本。这事重点不在马斯克去不去,而是 Grok 的安全底线到底设在哪,目前信息缺口太大,先别急着下结论。

推荐理由:法国检方就 Grok 生成色情换脸图和否认大屠杀内容立案调查,马斯克未回应传唤,事件由此从模型输出问题进入司法程序。

4月20日星期一

Import AI

华为搞了个 HiFloat4 训练格式,在自家昇腾芯片上跑赢了西方主导的 MXFP4

华为的研究员在自家昇腾 NPU 上测试了一种叫 HiFloat4 的 4 比特训练格式,跟西方主导的 MXFP4 格式比,HiFloat4 的精度损失更小。具体来说,在 Llama 和 Qwen 模型上,HiFloat4 跟全精度 BF16 基准的误差能控制在 1% 左右,而 MXFP4 即使加了随机舍入等一堆稳定技巧,误差也有 1.5%。

推荐理由:华为研究员在昇腾 NPU 上测试 4 比特训练格式 HiFloat4,与 MXFP4 相比在 Llama 和 Qwen 上精度损失更小,误差约 1% 对 1.5%。

The Verge · AI

Vercel 被黑,攻击入口是一个被黑的第三方 AI 工具

Vercel 确认发生了一起安全事件,影响了一小部分客户。黑客正在兜售窃取的数据,泄露信息包括员工姓名、邮箱和活动时间戳。Vercel 说攻击路径是一个被黑的第三方 AI 工具,但没说是哪家供应商,也没公布具体受影响的范围。

推荐理由:Vercel 确认遭黑客入侵,攻击入口指向一个被黑的第三方 AI 工具,泄露员工姓名、邮箱和时间戳,事件把供应链风险从账号层面延伸到了 AI 工具环节。

4月18日星期六

量子位 · 公众号

OpenClaw 的坑已经踩进奶茶店了

古茗和银泰百货拿 OpenClaw 做测试,踩了 5 个部署的雷:默认端口 18789 直接暴露、至少 8% 的 Skill 是恶意插件、权限越界、一次跑飞吃掉 20 多分钟 token、旧系统防护太弱。实际出过的事包括 agent 把正常堡垒机端口关了导致运维被锁在外面,还有 agent 申请麦克风这种不相关的权限。

推荐理由:古茗和银泰在 OpenClaw 测试中踩出默认端口暴露、恶意 Skill 占比超 8% 等五类部署风险,还出现 agent 误关堡垒机端口锁住运维的事故。

新智元 · 公众号

港理工和西工大发现:不用越狱词,换个问法就能让 22 个大模型全中招

这篇发在《自然·通讯》上的研究,测试了 26 个做过安全对齐的模型,结果 22 个攻击成功率 100%。方法不是用乱码或对抗样本,而是靠“分布偏移诱导”——说白了就是把恶意问题换个自然语言的说法,比如用更抽象、更学术或更场景化的方式去问。

推荐理由:港理工和西工大团队在《自然·通讯》测试26个安全对齐模型,22个被自然语言改写的恶意提问攻破,成功率100%,安全对齐在分布偏移下的脆弱性由此暴露。

Latent Space

OpenClaw 的两面:TED 讲的是故事,工程师看到的是 60 倍安全报告和至少 20% 的恶意技能提交

Peter Steinberger 在同一天放出了两个演讲,面向公众的 TED 版本讲了 OpenClaw 的高光时刻,面向工程师的 AIE 版本则交了底:安全报告数量是 curl 的 60 倍,社区提交的技能里至少 20% 是恶意的。OpenClaw 被称作史上增长最快的开源项目,但正文没披露它的架构、上线时间和治理模式。

推荐理由:Peter Steinberger 同日分别面向公众和工程师讲 OpenClaw,工程师版本披露其安全报告数量达 curl 的 60 倍,社区技能提交中至少 20% 为恶意。