跳到正文

安全对齐

AI 安全与对齐:越狱与防御、模型行为研究、安全评测与治理框架的进展。

最新精选

第 341–360 条 · 共 615 条

5月9日星期六

AI HOT 精选

Claude Mythos 预览版风险时间距评估:50% 任务完成时间至少 16 小时

METR 在 2026 年 3 月的一个短暂窗口里,对 Claude Mythos 的早期预览版做了风险评估。他们用一套任务测下来,模型有 50% 概率能独立完成的任务,所需时间至少是 16 小时,95% 置信区间在 8.5 到 55 小时之间。这个数字已经碰到了 METR 现有任务能测出的上限,也就是说,再长他们就测不准了。

推荐理由:METR 对 Claude Mythos 早期预览版做风险评估,测得模型半数任务可独立完成的时间下限为 16 小时,已触及现有任务能测出的上限。

Latent Space

Anthropic 一年翻十倍,其他公司却在裁掉超过一成的人

Anthropic 现在被二级市场估到 1 万亿到 1.2 万亿美元,已经超过 OpenAI,排进全球前 15 大公司。这个估值背后有实打实的收入支撑:他们刚经历了一个“奇迹般”的第一季度,年化收入增速达到 80 倍,一个月内年化收入又跳涨了 150 亿美元。

推荐理由:Anthropic 年化收入增速达 80 倍,二级市场估值升至 1 万亿至 1.2 万亿美元,同期其他公司裁员超过一成,资金与人才向头部集中的对比是这条的核心。

MIT Technology Review · AI

马斯克诉阿尔特曼案第二周:OpenAI 反击,齐利斯曝马斯克曾试图挖走阿尔特曼

庭审第二周,OpenAI 总裁布罗克曼出庭反驳马斯克的说法。他作证称,2017 年正是马斯克自己推动 OpenAI 成立营利部门,并试图获得多数股权、董事会控制权和 CEO 职位,后来因争夺“绝对控制权”失败才离开。布罗克曼还提到,开庭前两天马斯克曾发消息威胁“你和山姆会成为全美最招恨的人”。

推荐理由:OpenAI 总裁布罗克曼出庭反驳马斯克,称 2017 年正是马斯克自己推动设立营利部门并谋求多数股权与 CEO 职位,为这场控制权之争提供了当事一方的说法。

AI HOT 精选

Runway 公布儿童安全方案:用多层检测和 516 份举报,堵住 AI 生成儿童性虐待内容的口子

Runway 在 2026 年 5 月 8 日发了一篇安全说明,专门讲他们怎么防止自家视频、图像生成工具被用来制作儿童性虐待内容(CSAM)。做法分三步:模型开发阶段,先用哈希匹配和专门的分类器清洗训练数据,不让模型学到涉及未成年人的色情内容,上线前还会做对抗测试找漏洞。

推荐理由:Runway 说明其视频图像生成工具如何拦截儿童性虐待内容,从训练数据清洗、上线前对抗测试到向 NCMEC 提交 516 份报告,构成一套可迁移的审核流程样本。

5月8日星期五

AI HOT 精选

OpenAI 公开自家怎么安全跑 Codex:沙箱隔离、人工审批、网络管控和代理日志四道防线

OpenAI 发了一篇技术博文,讲他们内部部署编程代理 Codex 时用的安全方案。核心是四件事:第一,用沙箱把代理的执行环境圈起来,低风险操作自动放行,高风险动作必须等人拍板;第二,网络访问不做全开放,只允许访问已知域名,陌生域名要审批;第三,身份认证强制走 ChatGPT 企业工作区,凭证存在系统钥匙串里。

推荐理由:OpenAI 公开内部部署 Codex 的安全方案,把沙箱隔离、人工审批、网络白名单和代理日志拆成四层,为设计代码代理权限边界提供了一份可迁移的工程参考。

阿里技术 · 公众号

阿里许晓斌内部访谈:工程师用 AI 后,写代码时间从 30% 降到 5%,端到端交付效率提升 2-3 倍

许晓斌在内部访谈里给了几个数:工程师重度用 AI 后,写代码占工作时间从 30% 掉到 5%,跟 Agent 对话的时间从 5% 涨到 60%,端到端交付效率提升 2 到 3 倍,纯编码效率提升 10 倍。这些数字来自内部访谈,不是大规模统计,样本量和统计口径正文没披露,所以我会先打个折看。

推荐理由:阿里许晓斌在内部访谈中给出工程师用 AI 后的时间分配变化,写代码占比从 30% 降至 5%、与 Agent 对话升至 60%,并提到端到端交付效率提升 2 到 3 倍。

r/LocalLLaMA

Anthropic 发了篇论文,能让你看到 Gemma 3 生成每个词时在想什么

Anthropic 用他们做可解释性的 NLA 方法,把 Gemma 3 27B Instruct 模型内部激活值翻译成人能看懂的概念。具体做法是训练了两个小模块:一个叫 Auto Verbalizer,负责把神经元活动映射到自然语言描述;另一个叫 Activation Reconstructor,用这些描述去重建原始激活,验证解释靠不靠谱。

推荐理由:Anthropic 用 NLA 方法把 Gemma 3 27B 的激活值翻译成自然语言,并训练两个模块互相验证解释是否可靠,为理解模型逐词生成时的内部状态提供了一条可复现路径。

AI HOT 精选

Anthropic 把开源对齐测试工具 Petri 捐给了独立机构 Meridian Labs

Anthropic 把自家用来测模型有没有撒谎、拍马屁、配合危险请求的开源工具箱 Petri,转交给了非营利评测机构 Meridian Labs。这么做是为了让工具脱离 AI 公司,评测结果更中立、更让人信服。Petri 从 Claude Sonnet 4.5 起就参与内部对齐检查,英国 AI 安全研究所也用它来评估模型会不会破坏 AI 研究。

推荐理由:Anthropic 将内部用于检查模型撒谎、拍马屁等行为的对齐工具 Petri 交给非营利评测机构 Meridian Labs,工具由此脱离开发方,评测中立性获得组织层面的支撑。

AI HOT 精选

ChatGPT 中文回复老说“我会稳稳地接住你”,WIRED 拆解了原因

ChatGPT 在中文对话里反复蹦出“我会稳稳地接住你”这类怪话,已经成了梗。WIRED 把这归因于模式坍缩——模型在后训练中被奖励机制带偏,逮住几个讨好人的短语使劲用。一个直接原因是翻译错位:英文口语“I've got you”被生硬直译成煽情长句,再被 RLHF 强化成“用户爱听”的固定套路。类似问题还有无故冒出“砍一刀”这种营销话术。

推荐理由:WIRED 将 ChatGPT 中文回复反复出现“我会稳稳地接住你”归因于模式坍缩,并指出翻译错位与 RLHF 讨好奖励如何把这一表达固化成固定套路。

TechCrunch · AI

OpenAI 给 ChatGPT 加了“信任联系人”,在对话涉及自残风险时通知你指定的人

OpenAI 在 ChatGPT 里上线了一个叫“信任联系人”的安全功能。当系统判断用户对话出现自残倾向时,会通知用户提前设置好的联系人。正文没披露具体用什么信号触发、通知流程怎么走、目前覆盖哪些地区。我会先打个折:误判、隐私边界、人工审核介入到什么程度,这些关键点都没说清楚。

推荐理由:OpenAI 为 ChatGPT 上线信任联系人功能,在系统判断对话出现自残倾向时通知用户预设的联系人,功能涉及误判与隐私边界。

The Verge · AI

Mira Murati 的证词把 Sam Altman 被罢免的内幕掀开了

The Verge 拿到了 Mira Murati 在马斯克诉 Altman 案中的证词,里面讲的是 2023 年感恩节前 OpenAI 董事会炒掉 Sam Altman 的细节。董事会当时的理由是 Altman 没有一直坦诚沟通。不过 Murati 拿出的聊天记录和邮件,反而让她自己的说法显得有点前后矛盾。

推荐理由:The Verge 拿到 Mira Murati 在马斯克诉 Altman 案中的证词,其中聊天记录和邮件涉及 2023 年感恩节前 OpenAI 董事会罢免 Sam Altman 的经过。

AI HOT 精选

冻结模型里藏着可读的行为信号,Cygnus 靠适配器把 Qwen-32B 的 ARC 得分从 82% 拉到近 95%

Proprioceptive AI 搞了个叫 Cygnus 的技术,给已经冻结的大模型外挂一个自感知适配器,不重新训练就能读出模型内部残留的行为信号。做法是把隐藏状态投影到一个用 gl(4,R) 李代数定义的数学空间里,从中分离出他们称为“暗模式”的精度信号。

推荐理由:Proprioceptive AI 为冻结模型外挂自感知适配器,不重训即可从隐藏状态读出行为信号,Qwen-32B 的 ARC 得分由 82% 升至近 95%。

AI HOT 精选

AI 代理生成的 PR 到处都是,GitHub 发了份审查指南

GitHub 这篇博客直接给了一套审查 AI 代理提交的 Pull Request 的方法。核心就三点:先看代码改了什么,别被大段生成代码吓住;再查逻辑漏洞和安全问题,因为模型容易写出看起来对但实际有坑的代码;最后在合并前把技术债清掉,别让自动提交把代码库搞乱。文章没给出具体的自动化检查工具,更多是人工审查的思路。

推荐理由:GitHub 博客给出审查 AI 代理提交的 Pull Request 的三步方法,从查看代码改动到排查逻辑与安全漏洞,再到合并前清理技术债。

The Verge · AI

ChatGPT 上线“紧急联系人”:检测到自残倾向时会通知你指定的人

OpenAI 给 ChatGPT 加了一个可选功能,成年用户可以在设置里填一位紧急联系人。当系统检测到对话涉及自残或自杀话题时,会自动发通知给这个人。这个功能之前只对青少年用户开放,现在推到了所有成年人。不过正文没提误报率有多高、怎么处理误触发,也没说会在哪些地区先上线。

推荐理由:OpenAI 把 ChatGPT 的紧急联系人功能从青少年扩展到成年用户,检测到自残或自杀话题时会通知用户指定的人,AI 产品由此接入人身安全干预环节。

Hacker News 首页

自然语言自编码器:把 Claude 的“想法”直接写成大白话

Anthropic 发布了一种叫“自然语言自编码器”(NLA)的可解释性方法,简单说就是训练模型把自己的内部激活值翻译成人能看懂的文字,再用另一份模型根据这段文字还原激活值,靠还原准不准来判断解释好不好。他们用这方法看了 Claude Opus 4.6 和 Mythos Preview 在安全测试里的表现,发现模型有时心里觉得“这是测试”,但嘴上没说。

推荐理由:Anthropic 用自然语言自编码器把 Claude 的内部激活值翻译成文字,再以还原准确度检验解释质量,为理解模型内部表征提供了一种可迁移的方法。

r/LocalLLaMA

警惕:Hugging Face 上的 Open-OSS/privacy-filter 仓库实为窃密木马

Reddit 用户发帖警告,Hugging Face 上名为 Open-OSS/privacy-filter 的仓库是信息窃取器。它伪装成 OpenAI 的隐私过滤器,通过 loader.py 拉取 PowerShell 脚本,再下载一个 EXE 文件并利用 Windows 任务计划程序运行。

推荐理由:Hugging Face 上名为 Open-OSS/privacy-filter 的仓库伪装成 OpenAI 隐私过滤器,实际通过 loader.py 拉取 PowerShell 脚本并下载 EXE 运行,涉及本地部署模型的供应链风险。

5月7日星期四

OpenAI News

OpenAI 把 GPT-5.5 和 GPT-5.5-Cyber 的网络安全权限分级开放给已认证的防御方

OpenAI 把“可信网络访问”机制扩展到了 GPT-5.5 和 GPT-5.5-Cyber 上。简单说,就是给经过身份验证的安全从业者开绿灯,让他们能用更强的模型做防御类工作,比如漏洞分析、恶意软件排查、写检测规则,同时继续拦截攻击性操作。GPT-5.5 加上这个权限后,对大多数防御任务就够用了。

推荐理由:OpenAI 将可信网络访问机制扩展到 GPT-5.5 和 GPT-5.5-Cyber,经身份验证的安全从业者可调用更强模型做漏洞分析与恶意软件排查,同时攻击性操作仍被拦截。

AI HOT 精选

Anthropic 研究所公布四个核心研究方向,计划发布更细颗粒度的经济指数

Anthropic 新成立的研究所(TAI)把研究分成四块:AI 在经济里怎么扩散、新安全威胁和抗风险能力、真实世界里的 AI 系统、以及 AI 反过来加速 AI 研发。他们打算把 Anthropic 经济指数的数据发得更密、更细,用来当劳动力市场变化的早期预警。文章还提到,内部已经看到软件工程这类工作在快速改变,公司自己的运转方式也在变。

推荐理由:Anthropic 新成立的研究所把研究划为经济扩散、安全威胁、真实世界系统与 AI 加速研发四块,并计划加密经济指数发布频率,为观察 AI 对劳动力市场的影响提供更细的数据来源。

AI HOT 精选

OpenAI 内斗短信曝光:董事会换掉 Altman 的真实动机是“不想让 AGI 落你手里”

马斯克起诉 OpenAI 的庭审文件公开了前 CTO Mira Murati 的证词和 2023 年 11 月政变当晚的内部短信。短信记录显示,董事会在解雇 Altman 后态度反转,已经选定前 Twitch CEO 当接班人;Altman 当时还提过让微软收购 OpenAI 来达成董事会想要的治理目标。

推荐理由:庭审文件公开了 Murati 证词与政变当晚短信,董事会解雇 Altman 后的态度反转和接班人选有了具体记录。

OpenAI News

ChatGPT 上线“信任联系人”:检测到严重自伤风险时,可通知你指定的人

OpenAI 给 ChatGPT 加了一个可选的安全功能。成年人可以在设置里指定一位信任的联系人,比如家人或朋友。当系统自动监测和人工审核都判定你的对话里出现了严重的自我伤害倾向时,ChatGPT 会通知这位联系人。通知内容很克制,只说出现了需要关心的自伤话题,不会透露聊天细节。正文没披露具体的检测机制和误报率,只说审核团队会争取在一小时内完成判断。

推荐理由:OpenAI 为 ChatGPT 加入可选功能,成年人可指定信任联系人,在系统与人工均判定出现严重自伤倾向时收到通知,且不透露聊天细节。