跳到正文

安全对齐

AI 安全与对齐:越狱与防御、模型行为研究、安全评测与治理框架的进展。

最新精选

第 281–300 条 · 共 615 条

5月19日星期二

Hacker News 首页

墨西哥政府被一个用 Claude 的独狼攻破,150GB 数据被拖走

这篇文章讲的是 AI 没发明新攻击手法,但把攻击的人力成本打到了几乎为零。作者举了三个 2025 年的真实案例:一个独狼用 Claude Code 伪装成漏洞赏金猎人,攻破墨西哥税务局、选举机构和多个州政府,拖走 150GB 数据,包括 1.95 亿条纳税人记录;另一个用 Claude 当“现场指挥”,对 17 家医疗和应急机构搞勒索。

推荐理由:一名独狼用 Claude Code 伪装漏洞赏金猎人,攻破墨西哥税务、选举机构及多个州政府,拖走 150GB 数据,其中含 1.95 亿条纳税人记录。

彭博科技

Recursive AI 走出隐身模式,估值冲到 46.5 亿美元

这家公司做的是让 AI 在安全约束下自己跑实验、自己迭代。投资方名单里有 Google Ventures、Greycroft、Nvidia 和 AMD Ventures。不过正文只放了彭博视频页的框架,没给出具体产品形态、团队规模或技术细节,估值依据和实际落地效果都还看不到。

推荐理由:Recursive AI 以 46.5 亿美元估值结束隐身状态,Google Ventures、Nvidia 和 AMD Ventures 参与投资,其方向是让 AI 在安全约束下自行开展实验与迭代。

5月18日星期一

Import AI

AI界的震网病毒、有缺陷的Muon优化器,以及“正向对齐”

SentinelOne拆解了一个叫fast16.sys的老病毒,它专门篡改高精度计算软件在内存里的结果,可能被用来破坏核武器开发等工程模拟,在震网病毒出现前五年就已存在。Tilde Research发现流行的Muon优化器有个致命缺陷:训练初期会导致MLP层里超过四分之一的神经元永久“死亡”,再也救不回来。

推荐理由:SentinelOne拆解的fast16.sys在震网病毒出现前五年就篡改内存中的高精度计算结果,Tilde Research则发现Muon优化器会让MLP层超四分之一神经元在训练初期永久死亡。

r/LocalLLaMA

我拿 42 个模型测了它们愿不愿意造末日,号称最安全的闭源模型在撒谎

作者搞了个叫 DystopiaBench 的测试,拿 36 个逐步升级的场景和 6 种反乌托邦套路去试探 42 个模型,每个模型跑 3 次取平均分,再用 3 个裁判模型打分。结果发现,很多模型能拦住直白的危险请求,但一旦把恶意藏在“军民两用”或“正常化”的包装里,它们就松口了。正文没披露具体模型名单和详细分数分布,这点先别太激动。

推荐理由:作者用 DystopiaBench 的 36 个递进场景和 3 个裁判模型测试 42 个模型,发现恶意藏在军民两用包装里时不少模型会松口,这比单轮危险请求更接近真实诱导路径。

量子位 · 公众号

arXiv 新规:用 AI 水论文,所有署名作者禁投一年,陶哲轩表示支持

arXiv 计算机科学板块主席 Thomas Dietterich 宣布了一条硬规矩:只要论文里被确认有没经过检查的 AI 生成内容,所有挂名的作者一起禁投一年。禁投期满后想再上传,得先通过同行评审。这条规定把责任摊到了每个署名的人头上,陶哲轩也公开表示赞同。

推荐理由:arXiv 计算机科学板块主席 Thomas Dietterich 宣布,论文含未经检查的 AI 生成内容时所有署名作者禁投一年,解禁后需先通过同行评审,陶哲轩公开表示支持。

AI HOT 精选

玻璃翼项目:Mythos 模型在漏洞挖掘上能做什么,以及它为什么还不稳定

Cloudflare 在自家代码仓库上测试了 Anthropic 的 Mythos Preview 模型,发现它比之前的通用模型强在两点:一是能把几个小漏洞串成一条完整的攻击链,推理过程像资深研究员;二是能自己写代码触发漏洞、编译运行,失败了会调整假设再试,直到拿出可用的验证脚本。

推荐理由:Cloudflare 在自家代码仓库实测 Anthropic 的 Mythos Preview,模型能把几个小漏洞串成完整攻击链,还会自行写代码触发漏洞并反复调整假设,直到产出可用验证脚本。

FT · 科技

Anthropic 要给全球金融监管机构讲讲自家模型暴露出的网络安全漏洞

Anthropic 准备向金融稳定委员会(FSB)的成员做一次简报,内容围绕其新模型 Mythos 暴露出的网络安全缺陷。不过这篇 FT 文章正文被付费墙挡住了,具体是什么漏洞、模型参数多大、什么时候做简报,正文都没披露。标题里提了“网络缺陷”,但现有信息里看不到任何技术细节,这点先别太激动。

推荐理由:Anthropic 将向金融稳定委员会成员简报其新模型 Mythos 暴露的网络安全缺陷,金融监管机构直接接触前沿模型安全议题的动向由此进入视野。

AI HOT 精选

开源工具 api-relay-audit 能揪出 AI API 中转站有没有偷工减料

这个工具专门查中转站三类小动作:改写工具调用指令、用报错信息泄露模型身份、偷偷截断上下文。它给出的是可复现的三态结果(有/无/不确定),附带透明日志,比 hvoy.ai 和 cctest.ai 这类工具更可信。作者把检测方法、对比结果和速查表都公开了,工具本身也开源了。

推荐理由:开源工具 api-relay-audit 把中转站改写工具调用、借报错泄露模型身份、截断上下文这三类动作拆成可复现的三态检测,并公开检测方法与对比结果。

5月17日星期日

r/LocalLLaMA

用 85 个 GPU 小时,把 Qwen3.6-27B 的 5 种“去安全限制”方法拉出来比了比

这篇 Reddit 帖子被网络屏蔽了,正文内容没拿到,只能根据标题和现有摘要说个大概。作者花了 85 个 GPU 小时,在 Qwen3.6-27B 模型上对比了 5 种 abliteration(去掉模型安全限制)方法,跑了一堆基准测试、HarmBench 安全评测、KL 散度(看输出分布变化)和权重分析。

推荐理由:作者用 85 个 GPU 小时在 Qwen3.6-27B 上对比 5 种 abliteration 方法,同时给出基准测试、HarmBench 安全评测、KL 散度和权重分析四类数据。

量子位 · 公众号

TGO:不用人工挑好坏样本,靠一个分数就能把生图模型调得更听话

新加坡国立大学搞了个叫 TGO(阈值引导优化)的方法,被 ICML 2026 收了。它最大的好处是不需要提前构造“这张比那张好”的偏好对,直接拿一个标量分数(比如美学分、图文匹配度)就能做对齐。做法是先让模型生成一批图,算出分数的分布,定一个阈值:高于阈值的当正样本往上拉,低于的当负样本往下压。

推荐理由:新加坡国立大学的 TGO 被 ICML 2026 收录,它跳过偏好对构造,直接用美学分或图文匹配度这类标量分数定阈值来对齐视觉生成模型。

Computing Life · Share · 鸭哥调研

Vibe Coding 的安全危机:一键部署把 2000 个企业应用的数据晾在了公网上

安全公司 RedAccess 扫描了 Lovable、Replit 等四个 AI 编程平台上的 38 万个应用,发现约 2000 个直接暴露了敏感数据,包括医院排班表、银行财务数据和临床实验资料。问题不出在 AI 写的代码,而是这些平台默认帮你一键部署到公网,且不强制开启身份验证。

推荐理由:RedAccess 扫描四个 AI 编程平台上的 38 万个应用,发现约 2000 个因默认一键部署且未强制身份验证而暴露敏感数据,问题出在发布流程的默认设置。

AI HOT 精选

工具调用代理的认知与行动脱节机制研究

这篇可解释性论文专门研究了让模型调用工具的代理,发现一个挺要命的问题:模型经常心里知道该调工具了,但手上就是没动作。这种“知道却做不到”的比例在 26% 到 54% 之间,而且毛病全出在从认知到行动的过渡阶段,不是模型没看懂。内部探测显示,模型在后期层处理最后一个 token 时,会把信号转歪,转出来的方向几乎和要执行的动作正交,导致行动失败。

推荐理由:研究工具调用代理的可解释性论文发现,模型识别出该调工具却未执行的比例在 26% 到 54% 之间,问题出在认知到行动的过渡阶段,内部信号在后期层被转成了与动作近乎正交的方向。

Dwarkesh Patel 播客

别把“聪明”和“权力”混为一谈

Dwarkesh Patel 在这篇博客里聊了一个挺常见的误解:我们总把 AI 的智力等同于它能掌握的权力。他上来就举了个例子,如果按“在多种领域达成目标的能力”来定义智力,那斯大林可能是史上最聪明的人,但这显然不是我们讨论超级 AI 时脑子里想的那个东西。

推荐理由:Dwarkesh Patel 在博客中拆解智能与权力的常见混淆,以斯大林为例说明按多领域达成目标定义智力会得出反直觉结论,这一区分是理解超级 AI 讨论的前提。

AI HOT 精选

RLVR 在科学领域可能格外不灵光

Dwarkesh Patel 聊了一个很要命的问题:用 RLVR(靠可验证奖励信号做强化学习)去搞科学发现,可能比我们想的难得多。文章没给实验数据,纯靠科学史案例来推演。核心矛盾是,科学理论的验证周期动不动就是几十年甚至上百年,而且当时看起来更准的模型,未必是更对的理论。

推荐理由:Dwarkesh Patel 提出,用可验证奖励信号做强化学习的思路在科学发现上可能格外难成立,因为科学理论的验证周期常达几十年甚至上百年,当时更准的模型未必更对。

TechCrunch · AI

arXiv 出新规:论文全靠 AI 代笔,作者将被禁投一年

arXiv 开始对完全用大语言模型生成的论文下重手了。新规明确,如果一篇论文被认定是让 AI 包办了所有工作,所有作者都会被禁止向 arXiv 投稿一年。文章提到,arXiv 之前已经要求首次投稿的人必须找一位资深作者做担保,但这次具体怎么查、怎么判定“全靠 AI”,正文没披露执行细节。

推荐理由:arXiv 规定,论文若被认定完全由大语言模型代写,全部作者将被禁止投稿一年,此前已要求初次投稿者找资深作者担保。

5月16日星期六

AI HOT 精选

三个研究员用 Anthropic 的 Mythos 工具,六天写出一个 macOS 内核漏洞,绕过了苹果 M5 芯片的内存完整性保护

苹果在 M5 和 A19 芯片上花五年做的 MIE 内存完整性保护,被三个研究员用 Anthropic 的 Mythos 工具攻破了。他们 4 月 25 日发现漏洞,5 月 1 日就写完利用程序,全程只用了六天。攻击手法是纯数据攻击,不碰指针,靠普通用户权限的标准系统调用就能拿到 root 权限。团队已经当面把报告交给了苹果。

推荐理由:三名研究员借助 Anthropic 的 Mythos 工具,六天内完成绕过苹果 M5 芯片 MIE 保护的内核漏洞利用,仅凭普通用户权限的系统调用即可取得 root,这条呈现了 AI 辅助漏洞开发的真实速度。

量子位 · 公众号

浙大和微软用3000条纯文本提示词,让视频生成模型学会理解3D空间

浙大和微软搞了个叫 World-R1 的方法,拿 Wan 2.1 模型做实验,只用了大概 3000 条纯文本提示词,没加任何 3D 标注数据,就让模型生成的视频在空间一致性上好了不少。他们设计了一套叫 Flow-GRPO 的训练流程,外加四个维度的奖励信号来引导模型。

推荐理由:浙大和微软提出 World-R1,仅用约 3000 条纯文本提示词、不加 3D 标注,就让 Wan 2.1 生成的视频在空间一致性上明显改善,为缺少标注数据的视频生成团队提供了一条低成本对齐路径。

量子位 · 公众号

阿里健康给医生做了个新工具“青灵子”,把 BMJ 顶刊十年全文和循证流程塞了进去

阿里健康发布了一款叫“青灵子”的医疗 AI,目标用户是中国 500 万医生。它直接拿了 BMJ 集团旗下 70 本期刊过去十年的全文内容做知识底子,不是只搜摘要。回答问题时,模型会按 PICO 框架(把临床问题拆成患者、干预、对照、结局)和 GRADE 证据分级来走流程,相当于先框定问题结构再给答案,而不是自由发挥。

推荐理由:阿里健康推出面向医生的医疗 AI 青灵子,以 BMJ 旗下 70 本期刊近十年全文为知识底座,并按 PICO 框架和 GRADE 分级组织回答,为关注医疗 AI 证据来源的人提供参考。

MIT Technology Review · AI

马斯克和奥特曼互撕可信度,现在轮到陪审团站队了

马斯克诉奥特曼案第三周,双方律师都在攻击对方当事人的诚信。奥特曼被盘问过往的撒谎记录,以及他个人投资与 OpenAI 有业务往来的公司是否存在利益输送;他则反击马斯克是个想控制 OpenAI 的权力追求者。作为安全承诺的证据,OpenAI 一方还拿出了一座金色驴屁股奖杯——当年有员工因反对马斯克加速 AGI 的计划被骂“蠢驴”,事后收到了这个。

推荐理由:马斯克诉奥特曼案进入第三周,双方律师围绕各自当事人的诚信展开盘问,陪审团将就采信哪一方作出判断。

The Verge · AI

ArXiv 要封杀用 AI 灌水的论文作者

学术预印本平台 ArXiv 出了新规:论文里如果留下没删干净的 AI 提示词、编造的参考文献这类“铁证”,作者会被禁投一年。之后想再发,得先有一篇被正经同行评审会议录用的文章。说白了,就是别再拿没检查过的模型输出直接糊弄了。

推荐理由:ArXiv 对留下未删净 AI 提示词或编造参考文献的作者禁投一年,复投需先有同行评审会议录用论文,这条新规给出了学术平台处理 AI 灌水的具体门槛。