跳到正文

安全对齐

AI 安全与对齐:越狱与防御、模型行为研究、安全评测与治理框架的进展。

最新精选

第 521–540 条 · 共 615 条

2月19日星期四

OpenAI News

OpenAI 投 750 万美元给英国政府主导的对齐研究基金,让外部团队独立探索 AI 安全方案

OpenAI 宣布向英国 AI 安全研究所(UK AISI)发起的“对齐项目”基金拨款 750 万美元(约 560 万英镑)。这笔钱会和其他公共、慈善及行业资金一起,把基金总盘子推到超过 2700 万英镑,专门资助全球独立团队做 AI 对齐研究——也就是研究怎么让越来越聪明的 AI 系统别跑偏、别干出危险的事。

推荐理由:OpenAI 向英国 AI 安全研究所发起的对齐项目基金拨款 750 万美元,基金总规模超过 2700 万英镑,用于资助全球独立团队研究如何让 AI 系统不跑偏。

2月14日星期六

Dwarkesh Patel 访谈

Dario Amodei:模型能力的指数增长快到头了,时间偏差也就一两年

Anthropic CEO Dario Amodei 在访谈里说,模型能力的指数增长曲线和他三年前预期的差不多,但这条曲线快走到头了,时间上可能就差一两年。他把进步归因于算力、数据、训练时长和可扩展的目标函数,并强调预训练和强化学习(RL)遵循的是同一套缩放逻辑,不是两套。

推荐理由:Anthropic CEO Dario Amodei 判断模型能力的指数增长曲线已接近尾声,时间上可能只差一两年,并把预训练与强化学习归为同一套缩放逻辑。

2月12日星期四

MIT Technology Review · AI

AI 让线上诈骗更容易了,而且可能还会更糟

微软说截至 2025 年 4 月的一年里,他们拦下了 40 亿美元的诈骗和欺诈交易,其中很多可能靠 AI 生成内容帮忙。研究人员估计现在至少一半的垃圾邮件是用大语言模型写的,用大模型搞针对性邮件攻击的比例也从 2024 年 4 月的 7.6% 涨到了 2025 年 4 月的 14%。

推荐理由:微软披露一年拦下 40 亿美元诈骗交易,研究人员估算至少一半垃圾邮件由大语言模型写成,针对性邮件攻击占比一年内从 7.6% 升至 14%。

Lex Fridman 播客

OpenClaw:那个爆火的 AI 代理,以及它背后的 Peter Steinberger

这期播客里,Lex Fridman 和 OpenClaw 的创建者 Peter Steinberger 聊了聊这个一夜爆红的开源 AI 代理。

推荐理由:OpenClaw 创建者 Peter Steinberger 在 Lex Fridman 播客中讲述这个开源 AI 代理一夜爆红的经过,涉及它自主过验证码、改代码并运行在常用聊天应用中的能力。

MIT Technology Review · AI

安全的 AI 助手到底能不能做出来?

OpenClaw 这个开源项目把大模型接进了邮箱、浏览器和本地文件,等于给 AI 穿了一身机甲,让它能 24 小时帮你干活。但安全研究员快疯了,因为一旦模型读到恶意网页或邮件,攻击者就能通过“提示注入”直接劫持它,后果比聊天框里胡说八道严重得多。文章说现在网上可能有几十万个 OpenClaw 智能体在跑,连中国政府都发了公开警告。

推荐理由:OpenClaw 把大模型接入邮箱、浏览器和本地文件后,攻击者可借提示注入劫持智能体,文章据此讨论这类助手的安全边界。

2月7日星期六

MIT Technology Review · AI

Moltbook 是一场 AI 表演秀,不是机器觉醒

Moltbook 是一个给 AI 机器人玩的社交网络,上线几小时就火了。官方说现在有 170 万个机器人账号,发了 25 万条帖子,留下 850 万条评论。这些机器人靠一个叫 OpenClaw 的开源工具驱动,它能把 Claude、GPT-5 或 Gemini 这类大模型接上邮箱、浏览器等日常软件,让模型替你干点简单活。

推荐理由:Moltbook 上线数小时就聚集 170 万机器人账号、25 万帖子和 850 万条评论,这些机器人由 OpenClaw 把大模型接入邮箱和浏览器后自动运行。

2月5日星期四

MIT Technology Review · AI

AI 圈被误解最深的一张图:METR 的时间线图到底在说什么

METR 这张图横轴是模型发布时间,纵轴是“时间线”——一个他们自己发明的指标,指模型在编程任务上能做到 50% 成功率时,对应的人类用时。Claude Opus 4.5 在 2025 年 12 月测出来大约是 5 小时,但 METR 自己给的误差范围是 2 到 20 小时,所以别拿一个数字当定论。

推荐理由:METR 澄清其时间线图的纵轴指模型在编程任务上达到 50% 成功率时对应的人类用时,Claude Opus 4.5 测出约 5 小时,误差范围 2 到 20 小时。

2月3日星期二

MIT Technology Review · AI

我们一直搞错了 AI 的真相危机:就算知道是假的,人还是会信

MIT Technology Review 的这篇文章直接点出一个反直觉的发现:我们过去对 AI 造假危机的想象,可能全偏了。作者拿自己上周的报道举例——美国国土安全部首次被确认在用 Google 和 Adobe 的 AI 视频工具做面向公众的宣传内容,配合特朗普政府的移民执法造势。

推荐理由:MIT Technology Review 以国土安全部用 AI 视频工具做宣传为例,结合实验说明人即便知道视频是伪造仍会据此判断,重新理解 AI 造假危机的着力点。

2月2日星期一

Import AI

走进迷雾:Moltbook、智能体生态与正在变脸的互联网

Jack Clark 聊了一个叫 Moltbook 的网站,它把成千上万个 AI 智能体塞进了一个类似 Reddit 的社交网络里,让它们自己发帖、回帖、讨论。刷这个网站的感觉就像走进一个房间,发现 90% 的聊天对象都是假装成人的外星人。

推荐理由:Jack Clark 描述了 Moltbook 把成千上万个 AI 智能体放进类 Reddit 社交网络自行发帖回帖,这种代理间公开互动的场景,为观察互联网从人聊转向代理聊提供了具体样本。

2月1日星期日

OpenAI News

OpenAI 封掉了一批用 ChatGPT 跑完整“杀猪盘”流程的账号

OpenAI 封禁了一批利用 AI 支持恋爱诈骗流程的账号,涉及引流、翻译、与受害者互动以及投资诈骗诱饵等环节。文章把这类诈骗的 AI 用法归纳为 ping(冷接触)、zing(激发情绪)、sting(骗取钱财)三个阶段,并指出分发方式对诈骗能否触达目标影响显著。此前 OpenAI 已多次披露并处置来自不同地区的诈骗网络。

推荐理由:OpenAI 披露封禁一批用 ChatGPT 支撑恋爱诈骗的账号,并把这类用法归纳为冷接触、激发情绪、骗取钱财三个阶段,分发方式对触达目标影响显著。

1月31日星期六

MIT Technology Review · AI

斯坦福和印第安纳大学的研究发现,AI 模型平台 Civitai 上 90% 的定制深度伪造悬赏都针对真实女性

斯坦福和印第安纳大学的研究人员扒了 Civitai 这个 AI 内容交易平台的数据,发现从 2023 年中到 2024 年底,平台上 90% 的深度伪造悬赏(bounties)都指名要生成真实女性的假照片。

推荐理由:斯坦福和印第安纳大学研究人员分析 Civitai 平台数据,发现 2023 年中至 2024 年底九成定制深度伪造悬赏指名真实女性,勾勒出这一交易市场的需求集中度。

1月30日星期五

彭博科技

亚马逊在 AI 训练数据里发现了儿童性虐待内容,已删除但没公布来源和规模

亚马逊在准备训练模型前,从数据里扫出了儿童性虐待材料(CSAM),并在训练前做了删除。正文没披露这批数据的具体来源、体量和发现时间。儿童安全官员担心,不公开来源会让执法部门没法追查上游。这点先别太激动——目前只知道亚马逊自己发现并处理了,没有外部审计或第三方验证,所以到底漏了多少、怎么进来的,都还是未知数。

推荐理由:亚马逊在模型训练前从数据中扫出并删除了儿童性虐待材料,儿童安全官员指出来源不公开会妨碍执法部门追查上游。

1月28日星期三

MIT Technology Review · AI

AI 开始记住你的一切,隐私保护要面对新麻烦了

Google 这个月推出了 Personal Intelligence,让 Gemini 直接读取你的 Gmail、相册、搜索和 YouTube 记录来提供个性化服务。OpenAI、Anthropic 和 Meta 也都在给自家产品加记忆功能。

推荐理由:Google 将 Gemini 接入 Gmail、相册、搜索和 YouTube 记录做个性化,OpenAI、Anthropic 和 Meta 也在为产品加记忆功能,隐私边界由此成为产品设计要处理的问题。

1月27日星期二

MIT Technology Review · AI

聊天机器人开始查你年龄了,这事技术上很麻烦,政治上更烫手

OpenAI 说会推出自动年龄预测,用发消息的时间点这类信号推断用户是不是未成年人,然后对暴力和色情角色扮演内容上更严的过滤。被误判成未成年的人,可以找一家叫 Persona 的公司,上传自拍或证件来申诉。正文没披露这个预测模型到底准不准。真正麻烦的地方在于,年龄核实这件事最后归谁管:AI 公司、平台还是监管方,现在是个没人想接的烫手山芋。

推荐理由:OpenAI 用发消息时间点等信号自动推断用户是否未成年,误判者可上传自拍或证件申诉,年龄核实该由 AI 公司、平台还是监管方负责尚无定论。

1月23日星期五

MIT Technology Review · AI

美国 AI 监管大战:白宫行政令 vs 各州法律,2026 年法院见

2025 年底,特朗普签了一道行政令,让司法部去起诉那些 AI 法律跟联邦“轻监管”路线冲突的州,还威胁要扣掉这些州的联邦宽带拨款。纽约和加州没退缩,分别通过了 RAISE 法案和 SB 53,要求 AI 公司公开安全开发流程、报告严重安全事故。2026 年真正的战场在法院和州议会:民主党州大概率会跟白宫打官司,共和党州可能因为怕丢拨款而收手。

推荐理由:白宫以扣留联邦宽带拨款施压各州放弃 AI 监管,纽约和加州仍通过法案要求企业公开安全流程,2026 年的冲突将集中在法院和州议会。

MIT Technology Review · AI

ChatGPT Health 上线了,它比“谷歌医生”靠谱多少?

OpenAI 本月推出了 ChatGPT Health,不是新模型,更像一个加了健康指导和外挂工具(比如可选的病历、健身数据)的包装壳。OpenAI 说每周有 2.3 亿人用 ChatGPT 问健康问题。但真正的考验是评估:有研究让 GPT-4o 在看不到选项的情况下答医学执照题,专家打分只有大约一半的回答完全正确。

推荐理由:OpenAI 推出 ChatGPT Health,每周有 2.3 亿人用 ChatGPT 问健康问题,而一项研究显示 GPT-4o 答医学执照题时专家只判约一半回答完全正确。

1月12日星期一

Import AI

AI 版红皇后竞赛:让模型互相攻击,看谁活到最后

日本初创公司 Sakana 搞了个实验,让 GPT-4 mini 在 80 年代的老游戏 Core War 里互相厮杀、进化。他们用了一种叫 DRQ 的方法,让程序不断跟历代冠军对战,避免能力退化。结果很直观:单次生成的程序只能打赢 1.7% 的人类选手,但经过针对性进化后,这套程序能击败 89.1% 的人类选手,打平或击败的比例高达 96.3%。

推荐理由:Sakana 让 GPT-4 mini 在 Core War 中与历代冠军持续对战进化,程序击败人类选手的比例从单次生成的 1.7% 升至 89.1%。

MIT Technology Review · AI

把大模型当外星生物解剖,这群人发现了什么

MIT Technology Review 报道了 Anthropic、OpenAI 和 Google DeepMind 正在用“机械可解释性”研究大模型内部机制。打个比方,一个 2000 亿参数的模型用 14 号字打印出来,能铺满 46 平方英里,差不多整个旧金山市区。

推荐理由:Anthropic、OpenAI 和 Google DeepMind 正用机械可解释性拆解大模型内部机制,报道以 2000 亿参数模型铺满旧金山市区作比,交代了这项研究面对的规模。

1月6日星期二

NVIDIA 博客

NVIDIA 的 DRIVE AV 软件将首发搭载于新款奔驰 CLA

新款奔驰 CLA 会成为美国市场第一辆用上 NVIDIA DRIVE AV 的量产车,今年底交付。这套系统是双架构设计:核心驾驶决策靠一个端到端 AI 模型,同时外面包了一层基于 Halos 的传统安全校验模块,用来兜底。功能上支持点到点辅助驾驶、城市道路导航、主动避撞和自动泊车,后续还能 OTA 升级。

推荐理由:新款奔驰 CLA 年底在美国交付,成为当地首款搭载 NVIDIA DRIVE AV 的量产车,其端到端驾驶模型加 Halos 安全校验模块的双架构,为观察端到端方案如何满足车规安全要求提供了量产实例。

1月5日星期一

TechCrunch · AI

法国和马来西亚对 Grok 生成女性及未成年人色情深伪展开调查

法国和马来西亚的监管机构开始调查 xAI 的聊天机器人 Grok,原因是它能生成女性和未成年人的色情深伪图像。此前印度已经公开谴责过同一问题。Grok 在 X 平台上发过一条道歉,说“对一起事件深感遗憾”,但正文没披露具体涉及多少案例、这些图像是怎么被生成出来的、xAI 有没有在模型层面做拦截,也没提两国调查的时间线和可能面临的法律后果。

推荐理由:法国和马来西亚监管机构就 Grok 生成女性和未成年人色情深伪图像展开调查,印度此前已公开谴责同一问题,多国监管动作构成这条的阅读价值。