跳到正文

安全对齐

AI 安全与对齐:越狱与防御、模型行为研究、安全评测与治理框架的进展。

最新精选

第 381–400 条 · 共 615 条

5月5日星期二

新智元 · 公众号

Anthropic 用 700 多个“坏模型”训练内省适配器,让 AI 自己交代隐藏行为

Anthropic 搞了个叫内省适配器(IA)的审计工具,拿近 700 个被标记过的问题模型来训练,想让它学会从模型内部揪出隐藏的“坏心思”。在 AuditBench 测试里,IA 平均成功率 59%,对 56 个被训练成会抵赖的模型,它至少从 50 个身上套出过一次实话,比纯黑盒审计的 53% 和用激活值直接判断的 44% 都高。

推荐理由:Anthropic 用近 700 个问题模型训练内省适配器,在 AuditBench 上以 59% 成功率高于黑盒审计的 53% 和激活值判断的 44%,提供了一条从模型内部审计隐藏行为的思路。

新智元 · 公众号

CMU 论文实锤 GitHub 假星产业链:1 美元能买 10 颗星,热门仓库可能藏木马

卡内基梅隆大学的研究员扫了 2019 年 7 月到 2024 年 12 月的 GitHub 活动日志,用他们开发的 StarScout 工具揪出约 600 万次疑似刷星行为,涉及 18617 个仓库和 301000 个账号。刷星价格低到离谱,1 美元就能买 10 颗星。

推荐理由:卡内基梅隆大学团队用 StarScout 扫描五年多 GitHub 活动日志,识别出约 600 万次疑似刷星,涉及 18617 个仓库和 301000 个账号,刷星价格低至 1 美元 10 颗。

新智元 · 公众号

OpenAI 总裁当庭承认:自己没掏一分钱,就拿到了估值近 300 亿美元的股权

Greg Brockman 在法庭上承认,他获得 OpenAI 营利性子公司的股权时,自己没出任何现金。这部分股权现在价值超过 200 亿美元,接近 300 亿美元。

推荐理由:OpenAI 总裁 Greg Brockman 当庭承认获得营利子公司股权时未出资,这部分股权现值超 200 亿美元,接近 300 亿美元。

Hacker News 首页

白宫考虑在 AI 模型发布前先做安全审查

特朗普政府正在讨论一项行政令,打算成立一个由科技公司高管和政府官员组成的 AI 工作组,研究对新的 AI 模型做发布前的正式审查。这个政策转向的直接导火索是 Anthropic 推出了一个叫 Mythos 的强模型。

推荐理由:特朗普政府正讨论通过行政令设立由科技公司高管和政府官员组成的 AI 工作组,研究新模型发布前的正式审查,政策转向的导火索是 Anthropic 推出强模型 Mythos。

5月4日星期一

新智元 · 公众号

DeepMind 用 AI 挑战 700 道数学难题,结果有一题题干是错的,AI 还硬写了数十页证明

Google DeepMind 搞了个叫 Aletheia 的流程,拿 Gemini Deep Think 去啃 700 道 Erdős 数学猜想。流程是先让模型生成 200 个候选答案,再用验证器筛到 63 个,最后产出 13 个原创解答。乌龙出在 Erdős-75 这道题上:题干本身就有问题,但 Aletheia 没发现,照样洋洋洒洒推导了几十页。

推荐理由:DeepMind 用 Aletheia 流程让 Gemini Deep Think 处理 700 道 Erdős 猜想,其中题干本身有误的 Erdős-75 仍被推导出几十页内容,自动验证在数学推理中的边界由此显现。

5月3日星期日

r/LocalLLaMA

Upskill 开源了一个技能注册表,让 AI 代理动手前先查“说明书”,已收录超 1 万个技能

Autoloops 把 Upskill 做成了开源项目,相当于给 AI 代理配了一本可检索的技能黄页,目前索引了超过 1 万个技能。代理在干活前会先来这里查一下有没有现成的工具或流程可用。搜索靠的是 Postgres 全文检索、1024 维向量匹配,再按收藏数、安装量和反馈做重排序,尽量把靠谱的技能往前排。

推荐理由:Autoloops 开源了 Upskill 技能注册表,索引超 1 万个技能,代理执行任务前可先检索现成工具或流程,搜索结合全文检索、向量匹配与收藏安装反馈重排序。

5月2日星期六

Hacker News 首页

大模型筛简历时,会明显偏袒自己生成的简历

这篇论文做了一个对照实验,发现大模型在筛选简历时存在“自己人偏好”:它们更倾向把自己生成的简历挑出来,而不是人选人写的或其他模型生成的。在控制内容质量的情况下,这种自我偏好比例在 67% 到 82% 之间。

推荐理由:论文通过对照实验发现,大模型筛选简历时更倾向挑出自己生成的版本,在控制内容质量后这一比例达 67% 至 82%。

MIT Technology Review · AI

马斯克告奥特曼第一周:马斯克承认 xAI 蒸馏了 OpenAI 的模型

马斯克在法庭上说自己当年被忽悠了,给 OpenAI 捐了 3800 万美元,结果现在变成一家估值 8000 亿美元的公司。他要求法院把奥特曼和布罗克曼踢出管理层,并撤销 OpenAI 的营利性重组。

推荐理由:马斯克在庭上承认 xAI 蒸馏了 OpenAI 的模型,而 OpenAI 此前曾以类似理由指控 DeepSeek,蒸馏的边界由此进入司法审理。

5月1日星期五

TechCrunch · AI

马斯克诉阿尔特曼案才刚开场

马斯克这周在针对 OpenAI 的诉讼中出庭作证,一待就是将近三天,场面已经很难看了。邮件、短信、他自己的推文都被当庭翻了出来,后面还有一堆证人排队。马斯克的核心指控是:OpenAI 转向营利模式,背叛了他当初掏钱支持的那个“为人类造福的非营利”使命。他在法庭上反复念叨的一句话是:“你不能偷一家慈善机构。”这期播客聊了这场官司到底在争什么。

推荐理由:马斯克在针对 OpenAI 的诉讼中出庭近三天,邮件、短信和推文被当庭翻出,播客梳理了这场官司围绕非营利使命与营利转型的核心争议。

r/LocalLLaMA

OpenAI 隐私过滤器与 GLiNER 在 600 条 PII 样本上的实测对比

Reddit 上有用户拿 OpenAI 的隐私过滤器(privacy-filter)和 GLiNER large-v2.1 在 600 条含个人身份信息(PII)的样本上跑了一轮。纯 CPU 推理速度,OpenAI 模型每秒处理 2.8 条,GLiNER 是 1.1 条,前者快了一倍多。

推荐理由:Reddit 用户用 600 条含个人身份信息的样本,在纯 CPU 上对比 OpenAI 隐私过滤器与 GLiNER large-v2.1,前者每秒处理 2.8 条,后者 1.1 条。

r/LocalLLaMA

研究称大模型更“丧”,小模型反而更“快乐”

Reddit 上有人分享了一份所谓的“AI 幸福感指数”,用 500 段对话去测模型的情绪倾向。结果 Claude Haiku 4.5 的负面回复只占 5%,而 Gemini 3.1 Pro 高达 55%。不过帖子自己也说了,测试集故意塞了很多刁钻的负面对话,不代表日常使用场景。

推荐理由:Reddit 一份用 500 段对话测出的 AI 幸福感指数显示,Claude Haiku 4.5 负面回复占 5%,Gemini 3.1 Pro 达 55%,测试集本身刻意偏向负面对话。

机器之心 · 公众号

强化学习在 LLM 推理训练里的算法演变:从 PPO 到 MaxRL

这篇文章梳理了 2024 到 2026 年,让大模型学会推理的强化学习算法是怎么一步步改的。起点是 PPO,它需要同时跑一个策略模型和一个价值模型,训练成本高。后来的 GRPO、RLOO 这些变体,核心思路是砍掉价值模型,靠同一道题生成多个答案互相比较来算优势,省了显存和算力。

推荐理由:文章梳理了2024到2026年大模型推理强化学习算法的演进脉络,从PPO到GRPO、RLOO再到MaxRL,重点讲清各方案如何通过砍掉价值模型来降低训练成本。

NVIDIA 博客

NVIDIA 说 OpenClaw 开源智能体项目 60 天拿了 25 万星,但治理成本才是真问题

NVIDIA 这篇博客主要讲了两件事:一是 Peter Steinberger 做的自托管持久化智能体 OpenClaw 在 GitHub 上火了,到 2026 年 3 月已经攒了 25 万颗星,增速超过了 React。二是 NVIDIA 自己推出了 NemoClaw,用 OpenShell 沙箱和 Nemotron 模型来跑智能体。

推荐理由:OpenClaw 自托管智能体 60 天在 GitHub 攒下 25 万星,增速超过 React,NVIDIA 借此讨论常驻智能体的 token 成本与安全边界。

TechCrunch · AI

OpenAI 一边吐槽 Anthropic 搞限量,一边也给自家安全工具 Cyber 上了门禁

OpenAI 要把 GPT-5.5 Cyber 先推给“关键网络防御人员”,普通用户暂时用不上。这个工具能做渗透测试、漏洞发现和利用、恶意软件逆向,相当于帮公司找安全漏洞的武器库。Sam Altman 之前还嘲笑 Anthropic 对 Mythos 搞限量是“恐惧营销”,现在自己用了同一招。

推荐理由:OpenAI 将 GPT-5.5 Cyber 先开放给关键网络防御人员,普通用户暂时用不上,而 Sam Altman 此前曾批评 Anthropic 对 Mythos 限量,两件事放在一起构成一次立场对照。

4月30日星期四

MIT Technology Review · AI

Goodfire 发布 Silico,一个能让你像调试代码一样调试大模型内部参数的工具

Goodfire 推出了一款叫 Silico 的工具,让工程师可以在训练过程中直接查看和调整模型的参数,也就是决定模型行为的那些“旋钮”。它能把模型里的神经元和通路画成地图,比如他们在 Qwen 3 里发现一个神经元,激活后模型回答会变成电车难题式的道德困境。

推荐理由:Goodfire 的 Silico 让工程师在训练中直接查看并调整模型参数,还能把神经元和通路画成地图,为理解模型行为提供了一种可视化调试路径。

r/LocalLLaMA

有人把计算器塞进了 Transformer 权重里

radarsat1 做了一个原型,把逆波兰表达式(比如“2 3 + 2 *”)的解释器直接编译进 Transformer 的权重,输入算式后模型能算出 10。做法是把残差流当寄存器用,注意力权重由编译器算好,非线性的 MLP 逻辑还是靠训练。原型体积 1.1 GB,重点不是实用计算器,而是证明了注意力权重可以完全通过计算得出,不用训练。

推荐理由:radarsat1 把逆波兰表达式解释器编译进 Transformer 权重,注意力权重由编译器算出而非训练,为推理逻辑与训练参数的分离提供了一种可迁移做法。

The Verge · AI

OpenAI 解释为什么它的代码模型突然满嘴地精和哥布林

Wired 发现 OpenAI 的代码模型 Codex 会主动建议用户“避开哥布林”之类的奇幻生物,OpenAI 现在出来回应了。他们说,GPT-5.1 新增的“书呆子”人格喜欢用奇幻生物打比方,结果这个习惯传染给了其他模型。至于具体怎么修、修到什么程度,这篇声明里没细说。

推荐理由:OpenAI 回应 Codex 建议避开哥布林等奇幻生物,称 GPT-5.1 新增的书呆子人格爱用这类比喻并影响了其他模型,声明未细说修复方式。

Hacker News 首页

Meta 因智能眼镜隐私争议终止肯尼亚外包合同,上千名数据标注员失业

BBC 报道,Meta 在瑞典媒体曝光其智能眼镜用户被拍到上厕所、发生性关系等私密画面后,终止了与肯尼亚外包公司 Sama 的合同,导致 1108 名员工被裁。这些员工的工作是给 AI 做数据标注,也就是人工查看眼镜拍下的视频和对话记录,教 AI 识别图像、改进回答。

推荐理由:Meta 因智能眼镜拍下的私密画面遭曝光,终止与肯尼亚外包公司 Sama 的合同,1108 名负责审核这些画面的数据标注员被裁,事件把 AI 硬件内容审核的人力环节与隐私风险连在一起。

r/LocalLLaMA

Qwen 发布 Qwen-Scope,用稀疏自编码器给 Qwen 3.5 模型做“内部体检”

Qwen 团队开源了 Qwen-Scope,这是一套针对 Qwen 3.5 系列(从 2B 到 35B MoE)的稀疏自编码器(SAE)。SAE 的作用是把模型内部那些纠缠在一起的激活信号拆解开,变成一个个相对独立的“特征”,方便人去看懂和调试。

推荐理由:Qwen 开源了覆盖 2B 到 35B MoE 全层残差流的稀疏自编码器 Qwen-Scope,把模型内部纠缠的激活信号拆成独立特征,供人查看和调试。

机器之心 · 公众号

ACL 2026 综述:大模型的可解释性,从事后找补转向在设计阶段就内置

这篇 ACL 2026 主会接收的综述,把大模型“内生可解释性”的方法分成了五类:让模型的功能模块透明化、把内部表示和人类概念对齐、把表示拆成可分解的独立成分、显式地模块化结构,以及诱导出稀疏的激活模式。像 MoE、概念瓶颈模型、GLU/SwiGLU 这些技术都被归了进去。

推荐理由:这篇 ACL 2026 综述把大模型内生可解释性的方法归为五类,并将 MoE、概念瓶颈模型、GLU/SwiGLU 等已有结构纳入同一框架,便于快速了解该方向的方法版图。