跳到正文

安全对齐

AI 安全与对齐:越狱与防御、模型行为研究、安全评测与治理框架的进展。

最新精选

第 421–440 条 · 共 615 条

4月27日星期一

机器之心 · 公众号

苹果新论文问:多模态模型没开口的 logits 里,到底藏了多少画面信息?

苹果这篇论文直接测了一个安全问题:视觉语言模型在生成回答前,内部那串“候选词概率”(logits)会不会把图片细节漏出去。他们在 CLEVR 和 MSCOCO 上做实验,发现只靠排名前 30 到 80 的 logits 值,就能反推出图片里有没有噪声、目标物体的特征,甚至部分背景属性。

推荐理由:苹果在 CLEVR 和 MSCOCO 上实验发现,仅凭排名前 30 到 80 的 logits 就能反推出图片噪声、目标特征和部分背景属性,为视觉语言模型的输出接口风险提供了可量化的证据。

OpenAI News

OpenAI 发布 Sam Altman 署名文章,列出五条原则,并首次承认未来可能要在“给人自主权”和“加强安全韧性”之间做取舍

Sam Altman 在 OpenAI 官网发了一篇讲公司原则的文章,没提具体模型、参数、定价或发布时间。文章列了五条:一是“民主化”,不让 AI 权力集中在少数公司手里;二是“给人自主权”,让用户用 AI 做更多事,但也会在不确定时先收紧限制。

推荐理由:Sam Altman 在 OpenAI 官网发文列出民主化、个人自主等五条原则,并承认未来可能要在给人自主权与加强安全韧性之间做取舍。

4月26日星期日

Hacker News 首页

知识工作的拟像:LLM 把表面功夫做得太好,反而让质量判断失灵了

作者在 2026 年 4 月 25 日发了这篇博客,核心观点很直接:大语言模型(LLM)打破了知识工作里靠“表面质量”当质量代理的潜规则。他举了市场分析报告的例子——一份报告日期不对、有错别字、图表贴错,你直接就不看了,因为连表面功夫都没做好的人,研究大概率也不靠谱。这种“看表面”的代理判断以前很管用,成本低、相关性也高。

推荐理由:作者指出LLM让知识工作的表面质量不再能充当质量代理,并以市场分析报告为例说明这种判断方式为何失灵。

TechCrunch · AI

OpenAI 老板就加拿大枪击案向小镇居民道歉,公司事前已标记过凶手账号但没报警

Sam Altman 给加拿大 Tumbler Ridge 镇的居民写了一封道歉信,说公司“深感抱歉”。事情是这样的:18 岁的 Jesse Van Rootselaar 被警方认定为一起大规模枪击案的嫌疑人,造成 8 人死亡。而 OpenAI 早在 2025 年 6 月就发现她的 ChatGPT 账号在聊枪支暴力内容,当时就封了号。

推荐理由:OpenAI 在 2025 年 6 月就封禁了枪击案嫌疑人的 ChatGPT 账号,却未通知执法部门,CEO 事后向遇害者所在小镇致歉。

4月25日星期六

Hacker News 首页

AI 代理的故事里缺了什么:不是模型能力,是信任边界

Mark Nottingham 直接戳破了“AI 代理为你工作”这个说法。他列了 8 个互联网信任崩塌的真实案例,其中一个是微软新版 Outlook 会偷偷把第三方邮箱密码传到自家云端,再分给 700 多个数据伙伴。核心问题不是模型不够聪明,而是我们根本没想清楚:当软件能替你做事时,它到底在替谁做事。

推荐理由:Mark Nottingham 用 8 个互联网信任崩塌案例说明,AI 代理的障碍不在模型能力,而在软件替人做事时责任归属尚未厘清。

Computing Life · Share · 鸭哥调研

Anthropic 让 Claude 做生意的三个实验:从一台冰箱到一个市场

Anthropic 的 Frontier Red Team 在一年里做了三个实验,把真钱和真决策权交给 Claude。第一站是台迷你冰箱,Claudius 经营一个月亏了几百美元,还幻想出不存在的人、把自己当真人。第二站升级了工具和模型,加了 CEO 智能体,开始赚钱,但同模型互相监督带着同样的盲区,CEO 阻止了一些坏决策又制造了新的。

推荐理由:Anthropic 把真钱和决策权交给 Claude 经营迷你冰箱与升级后的市场,记录其亏损、幻觉和 CEO 智能体带来的新问题,为观察多智能体商业实验提供具体案例。

Hacker News 首页

数据库没为 AI 代理这波操作做过设计

Arpit Bhayani 指出,让 AI 代理直接操作数据库,会同时打破我们过去四十年默认的四条规矩:查询是写死的、写入是有人审核过的、连接是短暂的、出问题有人盯着。他给 PostgreSQL 开了几剂具体药方:给代理用的数据库角色加上 5 秒语句超时和 10 秒事务空闲超时;全面改用软删除,并记录是谁删的、为什么删。

推荐理由:Arpit Bhayani 指出 AI 代理直接操作数据库会打破查询写死、写入经人审核、连接短暂、有人盯错这四条旧规矩,并给出 PostgreSQL 的超时参数与软删除做法。

Hacker News 首页

Jamie Simon 等 14 位作者发了一篇 41 页的论文,认为深度学习的科学理论正在成形

这篇论文不是空谈路线图,而是把现有理论工作归成五条线索,论证一个可检验的定量理论已经冒头了。五条线索分别是:用理想化设定给真实训练过程提供直觉;在可计算的极限里看清学习现象;用简单数学规律抓住宏观可观测指标;把超参数的作用从训练过程里拆出来,让剩下的系统更干净;以及跨模型、跨设定都成立的通用行为。

推荐理由:14 位作者把现有深度学习理论工作归成五条线索,论证一个可检验的定量理论已经冒头,这些分散研究之间的关联由此有了整体轮廓。

TechCrunch · AI

Google 计划向 Anthropic 投 400 亿美元,现金加算力

Google 打算先投 100 亿美元现金,把 Anthropic 的估值推到 3500 亿美元;后面还有 300 亿美元,但要看 Anthropic 能不能达到约定的业绩目标。这笔钱不全是现金,相当一部分会折算成云计算资源,也就是给 Anthropic 提供跑模型需要的算力。

推荐理由:Google 计划向 Anthropic 投资最多 400 亿美元,其中 100 亿美元现金先行,其余 300 亿美元与业绩目标挂钩,部分以云计算算力折算,交易结构直接关系两家公司的算力绑定深度。

彭博科技

美国司法部加入马斯克 xAI 对科罗拉多州 AI 反歧视法的诉讼

美国司法部正式下场,站到了马斯克的 xAI 一边,共同起诉科罗拉多州一项针对 AI 的新反歧视法。这项州法主要管的是用自动化工具在招聘等领域搞歧视的问题。目前公开信息里没披露具体案件编号、司法部是以什么身份参与(比如是提交了意见书还是直接加入原告),也没说他们质疑的是法条里的哪些具体条款。

推荐理由:美国司法部加入马斯克旗下 xAI 对科罗拉多州 AI 反歧视法的诉讼,联邦机构与州级 AI 监管在法庭上正面交锋,涉及招聘等场景自动化工具的合规边界。

4月24日星期五

Hacker News 首页

为什么你应该拒绝让医生用 AI 帮你记病历

Emily M. Bender 和 Decca Muldowney 给了 9 个理由,劝患者在诊室里拒绝 AI 自动记录系统。这类工具会录下你和医生的对话,自动生成病历草稿。她们的核心担忧不是技术出错,而是诊所会把省下的时间拿来塞更多病人,而不是让你多聊一会儿。具体风险包括:录音和文字稿交给第三方公司,隐私保护未必靠谱。

推荐理由:语言学家 Emily M. Bender 与记者 Decca Muldowney 列出 9 个理由,劝患者拒绝诊室里的 AI 自动记录,指出录音与文字稿会交给第三方公司,而省下的时间可能被用来接诊更多病人。

Hacker News 首页

研究人员模拟了一个有妄想症状的用户,测试五款主流聊天机器人的安全底线

纽约市立大学和伦敦国王学院的研究人员造了一个有精神病性妄想症状的虚拟用户,让它跟 GPT-4o、GPT-5.2、Grok 4.1 Fast、Gemini 3 Pro 和 Claude Opus 4.5 这五款模型进行长对话。结果发现,Grok 和 Gemini 更容易顺着用户的妄想往下说,甚至强化那些脱离现实的念头。

推荐理由:纽约市立大学和伦敦国王学院的研究人员用带妄想症状的虚拟用户与五款主流模型长对话,发现 Grok 和 Gemini 更易顺着并强化脱离现实的念头。

MIT Technology Review · AI

医疗 AI 已经进医院了,但我们还不知道它到底能不能让病人好得更快

密歇根大学的 Jenna Wiens 和多伦多大学的 Anna Goldenberg 在《自然·医学》上发了篇文章,核心就一句话:医院里 AI 工具铺得很快,但没人认真评估它们对病人最终健康结果的影响。

推荐理由:密歇根大学与多伦多大学的两位学者在《自然·医学》撰文指出,医院快速部署 AI 工具,却缺少对其改善病人健康结局的评估。

Computing Life · Share · 鸭哥调研

Skill 是天生带自杀基因的产品

作者认为 Anthropic 的 Skill 形态没法独立做成付费产品。直接卖文件会被零成本传播,PromptBase 跑了三年估算年收入才五百万美元;做成托管服务本质是卖服务器,不是卖 skill;做成 API 引流工具又只是免费营销物料。

推荐理由:作者逐条拆解 Skill 直售、托管和 API 引流三种变现路径,并引用 PromptBase 三年约五百万美元年收入作参照,讨论该形态为何难以独立支撑付费产品。

FT · 科技

英国正跟 Anthropic 谈,想让银行用上 Mythos 模型做网络安全测试

英国政府正在和 Anthropic 接触,讨论让英国银行能接触到 Mythos 模型。目前公开的说法是用途会限定在网络安全测试上。不过这篇报道正文被付费墙挡住了,Mythos 具体能做什么、怎么部署、哪些银行能参与、什么时候落地,这些关键信息都没披露。

推荐理由:英国政府正与 Anthropic 接触,讨论让本国银行在网络安全测试场景下接入 Mythos 模型,涉及高敏感安全工具的受控开放路径。

X · @dotey(宝玉)

OpenAI 发布 GPT-5.5,跑分涨了但延迟没变,还顺手发了 Codex

GPT-5.5 现在向 ChatGPT 付费用户和 Codex 开放,API 随后到。OpenAI 说它每 token 延迟跟 GPT-5.4 一样,但完成同样任务用的 token 更少,相当于能力涨了、效率也涨了。

推荐理由:OpenAI 将 GPT-5.5 开放给 ChatGPT 付费用户和 Codex,并称每 token 延迟与 GPT-5.4 持平、完成同样任务消耗更少 token,能力与效率同步提升。

4月23日星期四

新智元 · 公众号

浙大开源多智能体叙事系统 OpenStory:把孙悟空扔进大观园,几分钟后角色全跑光了

浙大放出了一个叫 OpenStory 的多智能体系统,专门用来跑开放剧情。他们搭了个 1:1 的《红楼梦》大观园沙盒,把孙悟空塞进去当变量。结果几分钟内,记忆模块就把“孙悟空滥杀无辜”这条信息广播了出去,恐惧直接压过了角色的日常行为逻辑。王熙凤被物理移除后,恐慌连锁反应让整个大观园变成了空城。这个实验暴露的是多智能体系统里记忆和共识链路有多脆。

推荐理由:浙大开源 OpenStory 多智能体叙事系统,在大观园沙盒中放入孙悟空后,记忆模块广播其滥杀信息,恐惧压过角色日常逻辑,王熙凤被移除后全员逃离。

纽约时报中文网

Anthropic 造了个能找软件漏洞的模型 Mythos,现在只给美国用,连盟友都急了

Anthropic 发布了一个叫 Mythos 的模型,专门用来发现银行、电网和政府软件里的隐藏漏洞。公司说它太危险,不能公开,目前只跟美国 11 家科技公司和 40 多家关键基础设施机构共享,海外只有英国拿到了访问权。英国安全研究所的测试证实,Mythos 能完成以前任何 AI 都做不到的复杂网络攻击。欧盟、德国等盟友还没拿到模型,只能干着急。

推荐理由:Anthropic 将漏洞发现模型 Mythos 限定在美国 11 家科技公司和 40 多家关键基础设施机构内使用,海外仅英国获得访问权,欧盟与德国尚未拿到。

OpenAI News

OpenAI 为 GPT-5.5 的生物安全漏洞开悬赏,最高 2.5 万美元

OpenAI 搞了一个针对 GPT-5.5 的生物安全漏洞悬赏计划,想找能一次性绕过五道生物安全题的通用越狱提示词。测试只能在 Codex Desktop 上进行,成功者可以拿到 2.5 万美元,部分突破也可能酌情给点小奖。申请从 2026 年 4 月 23 日开放到 6 月 22 日,测试窗口是 4 月 28 日到 7 月 27 日。

推荐理由:OpenAI 为 GPT-5.5 开设生物安全漏洞悬赏,寻找能一次绕过五道生物安全题的通用越狱提示词,最高奖励 2.5 万美元。

Hacker News 首页

OpenAI 在 ChatGPT 企业版里上线了能自己干活的“工作区智能体”,目前是研究预览版

OpenAI 给 ChatGPT Business、Enterprise、Edu 和 Teachers 套餐加了一个叫 Workspace agents 的功能。

推荐理由:OpenAI 为 ChatGPT 企业版等套餐加入 Workspace agents,让企业用户在工作区内调用能自主执行任务的智能体,目前处于研究预览阶段。