跳到正文

#安全/对齐

今日 5 条

6月5日星期五

Hacker News 首页

当 AI 开始自己造自己:Anthropic 谈递归式自我改进的进展

Anthropic 发了一篇文章,讲他们内部怎么让 Claude 越来越多地参与 AI 开发。核心概念是“递归式自我改进”——让 AI 系统能完全自主地设计和开发自己的下一代。他们说自己还没到那一步,但趋势在加速。文章给了几个内部数据:到 2026 年 5 月,Anthropic 合并的代码里超过 80% 是 Claude 写的。

推荐理由:Anthropic 披露内部让 Claude 参与 AI 开发的进展,并给出到 2026 年 5 月合并代码中超八成由 Claude 撰写这一数据,呈现递归式自我改进目前的实际程度。

6月4日星期四

The Verge · AI

AI 公司老板们联名写信,要求国会堵住用 AI 造生物武器的漏洞

Anthropic 的 Dario Amodei、OpenAI 的 Sam Altman 和微软的 Mustafa Suleyman 这几个平时互相掐架的 AI 公司头头,这次站到了一起。他们给美国国会发了封公开信,核心诉求就一个:强制卖合成 DNA 和 RNA 的公司,在发货前必须筛查订单里有没有危险序列。

推荐理由:Anthropic、OpenAI 与微软负责人联名致信美国国会,要求合成 DNA 和 RNA 销售商在发货前筛查订单中的危险序列,三家竞争对手在生物安全议题上立场一致。

新智元 · 公众号

Claude Mythos 在 METR 基准上连续跑了 3 小时 6 分钟,比专家预测的年底时间提前了大半年

Anthropic 的 Claude Mythos 在 METR 的自主任务测试里撑了 186 分钟,成功率 80%。这个时长刚好落在专家们之前预测的 3 到 4 小时中位数区间,但预测的时间点是 2026 年底,现在提前到了。正文因为需要验证码没抓到具体细节,不知道任务类型、失败原因和是否有人工干预,所以这个 80% 成功率先打个折看。

推荐理由:Anthropic 的 Claude Mythos 在 METR 自主任务测试中连续运行 186 分钟、成功率 80%,时长落在专家此前预测的 3 到 4 小时区间,而预测时间点是 2026 年底。

MIT Technology Review · AI

美国法院快被 AI 写的诉状淹没了,法官们开始琢磨聊天机器人该担什么责

MIT 和南加州大学的研究人员翻看了 2005 到 2026 年间 450 万份联邦民事案件,发现没请律师、自己打官司的人占比从 2022 年的 11% 涨到了 2025 年的 16.8%。他们用 AI 文本检测工具 Pangram 抽查了 1600 份文件,被标记含 AI 代笔的比例从 2023 年的 1% 飙升到 2026 年的 18%。

推荐理由:MIT 与南加州大学研究者翻查 450 万份联邦民事案件,发现自诉占比从 2022 年 11% 升至 2025 年 16.8%,AI 代笔标记率到 2026 年达 18%。

Hacker News 首页

桑德斯:大型 AI 公司的一半股权应该归公众所有

伯尼·桑德斯在 2026 年 6 月 1 日的专栏里直接抛出一个主张:大型 AI 公司 50% 的股权应该归公众。他的逻辑是,AI 会彻底改变经济、民主、教育甚至人类存续,不能只让一小撮亿万富翁说了算、赚走所有好处。文章没提具体通过什么立法机制来实现,也没点名哪些公司会被覆盖,更像是一份政治立场声明。

推荐理由:伯尼·桑德斯在专栏中主张大型 AI 公司一半股权应归公众所有,理由是 AI 将深刻改变经济与民主,这一所有权思路比税收和反垄断争论走得更远。

FT · 科技

英国议员起诉马斯克的 xAI,想用假色情图片案测试 AI 公司要不要为模型输出负责

英国工党议员 Jess Asato 把马斯克旗下 xAI 告了,起因是系统生成了她的虚假性相关图片。这案子被当成一个测试案例,核心是想搞清楚:AI 模型开发者到底要不要为模型吐出的内容承担法律责任。不过目前公开信息很少——正文没披露具体是哪个模型、图片是怎么生成的、索赔金额多少,也没说法庭排期。

推荐理由:英国工党议员 Jess Asato 起诉马斯克的 xAI,指其系统生成她的虚假性相关图片,案件被作为测试案例,核心是 AI 模型开发者是否要为模型输出承担法律责任。

6月3日星期三

MIT Technology Review · AI

特朗普签了新 AI 行政令,Anduril 和 Meta 在给美军做能“用眼神下命令”的 AR 眼镜

特朗普废掉旧令不到两周,又签了一份新的 AI 行政令。核心变化是:要求科技公司在发布前沿模型前 30 天,自愿把模型交给政府审查,但不设强制许可证。对比之前被搁置的版本(要求提前 90 天提交),这次明显缩水了,不过也算从完全不管迈向了轻度监管。

推荐理由:特朗普签署新 AI 行政令,要求科技公司在发布前沿模型前 30 天自愿提交政府审查,相比此前搁置的 90 天版本有所缩短,勾勒出美国前沿模型监管从无到有的过渡状态。

机器之心 · 公众号

大模型 SFT 的算力浪费有救了:同质化数据训练几百步就该停,新方法能提前揪出过拟合

这篇文章正文被微信环境验证挡住了,看不到具体内容。从标题和已有的英文摘要看,Junpeng Zhang 他们发现,用高度同质化的数据做 SFT 时,有效训练窗口其实很短,大概几百到一千步左右。他们搞了一个基于交互信号的预警方法,能在 loss 差距还没拉大之前就检测到过拟合,据称能省下 30% 到 50% 的训练算力。

推荐理由:Junpeng Zhang 等人发现同质化数据做 SFT 的有效训练窗口只有几百到一千步,并提出基于交互信号的预警方法,在 loss 差距拉大前检测过拟合,据称可省下 30% 到 50% 的训练算力。

Computing Life · Share · 鸭哥调研

MAI-Thinking-1:让模型持续思考几千步不崩,比让它开始思考难得多

微软 MAI-Thinking-1 的技术报告没在吹模型多会解题,而是在讲怎么让强化学习训练别崩。他们给 GRPO 算法打了三个补丁:一个像恒温器一样动态调节模型的“自信度”,防止它变得死板或乱猜;一个像断路器,在梯度爆炸时直接截断,保住整批训练数据;还有一套自蒸馏抢救流程,训练万一崩了,能把之前学会的推理能力搬到新模型上继续跑。

推荐理由:微软 MAI-Thinking-1 技术报告讲的是强化学习训练不崩,给 GRPO 打了动态调节自信度、梯度截断和自蒸馏抢救三个补丁,对做推理模型训练的人有方法层面的参考。

AI HOT 精选

特朗普签行政令:AI 模型上线前可自愿交给政府做安全检查

特朗普政府推出一项自愿机制,AI 公司可以在前沿大模型发布前 30 天内,把模型提交给美国商务部下属的 CAISI 中心做安全评估,主要查模型的网络攻防能力。谷歌、微软和 xAI 已经同意配合,OpenAI 和 Anthropic 早在 2024 年就签了类似协议。这次行政令明确不是强制审批,企业自己决定交不交,交了能拿到保密保护。

推荐理由:特朗普签署行政令设立自愿机制,AI 公司可在前沿模型发布前 30 天提交商务部 CAISI 做安全评估,谷歌、微软和 xAI 已同意配合。

AI HOT 精选

NVIDIA 发布 NemoClaw 蓝图,让工业软件能跑通自主 AI 工程师

NVIDIA 在 COMPUTEX 上放出了一个叫 NemoClaw 的开放蓝图,专门用来构建能长时间自主干活的 AI 智能体。十几家工业软件厂商已经用它来打造“自主 AI 工程师”,主要用在 CAE 仿真和 EDA 芯片设计流程里。按官方说法,以前要跑好几周的仿真和设计任务,现在能压缩到几小时内完成。

推荐理由:NVIDIA 在 COMPUTEX 发布 NemoClaw 开放蓝图,已有十余家工业软件厂商用它构建自主 AI 工程师,覆盖 CAE 仿真与 EDA 芯片设计流程。

FT · 科技

特朗普签了份缩水版 AI 审查令,让美国政府能提前看大模型

特朗普签署了一项力度被削弱的 AI 审查行政令,核心是让美国政府机构能提前拿到前沿 AI 模型进行安全评估。不过正文没披露具体的审查标准、覆盖多少模型,也没给执行时间表。这事是在 MAGA 内部吵了一架之后才落地的,所以最终版本比最初设想的要温和。

推荐理由:特朗普签署力度被削弱的 AI 审查行政令,让美国政府机构可提前接触前沿模型做安全评估,此事发生在 MAGA 内部争执之后,最终版本比最初设想温和。

TechCrunch · AI

微软开源新工具,用文字描述就能给 AI 模型出考卷

微软发布了一个叫 ASSERT 的开源框架,让开发者直接用自然语言写测试要求,就能自动生成一套评估 AI 行为的考题和回归测试。正文没披露它具体支持哪些模型、打分指标怎么算,也没提使用限制。

推荐理由:微软开源 ASSERT 框架,开发者用自然语言描述测试要求即可自动生成 AI 行为考题与回归测试,省去手写脚本的环节。

NVIDIA 博客

英伟达和微软搞了一套统一方案,让 AI 能在 Windows 电脑、云端和本地服务器之间来回跑

微软 Build 大会上,两家宣布把 AI 部署的底层打通了。简单说,就是同一个 AI 应用,既能在你笔记本的 RTX 显卡上跑,也能无缝切到 Azure 云或者公司本地的 DGX 工作站上,不用重写代码。现场还亮了两款新硬件:RTX Spark 是个小盒子,能提供 1 petaflop 的 AI 算力(大概相当于每秒一千万亿次计算)。

推荐理由:英伟达与微软打通 AI 部署链路,同一应用可在 Windows 设备、Azure 云和本地 DGX 工作站间切换而无需重写代码,并公布 1 petaflop 算力的 RTX Spark 硬件。

The Verge · AI

特朗普签行政令,要求 AI 公司在发布前沿模型前先给联邦政府看一眼

特朗普周二签了一份行政令,搞了个“自愿框架”,让 AI 公司把还没发布的前沿模型先交给联邦政府审查,名义是促进安全创新和加强关键基础设施的网络安全。行政令一边说美国 AI 行业成功是因为没拿过度监管压死创新,一边又承认新能力会带安全风险,所以让几个联邦机构去定一套评估模型“高级网络能力”的流程。

推荐理由:特朗普签署行政令,要求AI公司在发布前沿模型前先交联邦政府审查,并让多个机构制定评估模型高级网络能力的流程。

FT · 科技

Anthropic 要把网络安全模型 Mythos 推到 15 个以上的国家

Anthropic 计划将 Mythos 这个专门做网络安全的模型开放给更多地区,覆盖超过 15 个国家,大约 150 家机构会用上。正文被付费墙挡住了,没披露具体是哪些国家、什么时候开始、以及模型本身的技术细节或效果数据。

推荐理由:Anthropic 计划将网络安全模型 Mythos 开放给超过 15 个国家的约 150 家机构使用,这一扩张规模可帮助读者了解该模型在安全领域的落地范围。

TechCrunch · AI

微软给开发者发了份说明书,让 AI 代理的行为能按规矩来

微软发布了一份 AI 代理的行为规范说明书,让开发、合规和安全团队能把想让代理遵守的规则,写进可移植的策略文件里。正文没提版本号、开源协议、支持哪些开发框架,也没说什么时候正式上线。

推荐理由:微软发布 AI 代理行为规范说明书,开发、合规和安全团队可将规则写入同一份可移植策略文件,省去各写一套的麻烦。

AI HOT 精选

特朗普签了修订版 AI 行政令,先进模型发布前政府审查改成自愿了

特朗普签了一份修订后的 AI 行政命令,把先进模型发布前的政府审查从强制改成了自愿。正文没披露审查标准、覆盖哪些模型、以及什么时候开始执行。

推荐理由:特朗普签署修订版 AI 行政令,将先进模型发布前的政府审查由强制改为自愿,这条呈现了美国 AI 监管路径的一次政策调整。

6月2日星期二

TechCrunch · AI

Anthropic 把 Claude 的安全工具 Mythos 铺到 15 国的关键基础设施,覆盖电力、水务、医疗和通信

Anthropic 正在把自家的安全漏洞项目 Project Glasswing 和模型 Mythos 开放给 15 个国家的 150 家机构,专门盯电力、水务、医疗和通信这些命脉系统。按他们的说法,这些系统一旦被攻击,可能影响上亿人。

推荐理由:Anthropic 将安全漏洞项目 Mythos 开放给 15 国 150 家机构,覆盖电力、水务、医疗和通信系统,这些系统一旦被攻击可能影响上亿人。

AI HOT 精选

Anthropic 扩大 Project Glasswing 计划,新增约 150 家关键基础设施机构

Anthropic 把 Project Glasswing 的合作范围从约 50 家扩到约 150 家新机构,覆盖超过 15 个国家,新增了电力、水务、医疗、通信和硬件等关键基础设施行业。这些机构都有一个共同点:一旦代码库被攻破,影响可能超过 1 亿人。

推荐理由:Anthropic 将 Project Glasswing 的合作机构从约 50 家扩至约 150 家,覆盖超 15 个国家的电力、水务、医疗、通信和硬件行业,这些机构代码库一旦被攻破,影响可能超过 1 亿人。

FT · 科技

头部 AI 实验室开始正经研究机器有没有“意识”

Google DeepMind、Anthropic 和 Meta 都在研究 AI 能不能产生意识,以及这对人意味着什么。但正文被付费墙挡了,没披露具体用什么方法、有没有时间表、怎么才算“有意识”的评判标准。

推荐理由:Google DeepMind、Anthropic 和 Meta 都在研究 AI 能否产生意识及其对人的影响,这条呈现头部实验室把机器意识纳入正式研究议程的动向。

新智元 · 公众号

教皇与Anthropic联合预警:2030年通用人工智能降临,人类自救窗口只剩三年

这篇文章本身因为微信环境验证问题,正文内容没能抓取到,所以下面这些判断只能基于标题和摘要来聊。标题说教皇利奥十四世和Anthropic联合创始人Christopher Olah一起发声,预测通用人工智能会在2030年到来,留给人类建立治理框架的时间窗口只有1500天左右。他们提议搞一个类似反洗钱金融行动特别工作组(FATF)的国际审计框架来监管AI。

推荐理由:教皇利奥十四世与Anthropic联合创始人Christopher Olah共同提出,2030年通用人工智能到来前仅剩约1500天治理窗口,并建议参照反洗钱金融行动特别工作组模式建立国际审计框架。

纽约时报中文网

中国一家公司正尝试用 AI 预测谁会变成异见者,但美国芯片限制可能拖慢了进度

范德比尔特大学的研究人员翻看了 10 万份泄露的公司文件,发现一家叫积至的中国公司正在开发一套 AI 系统,想通过分析电信数据、社交媒体和位置信息,在一个人还没公开表达不满之前就判断他未来会不会批评政府。这听起来像《少数派报告》里的情节,但文件显示,这套预测技术目前还停留在研究阶段,美国官员也说没有证据表明它已经定型或实际部署。

推荐理由:范德比尔特大学研究人员从10万份泄露文件中发现,积至公司正研发通过电信、社交和位置数据预判异见倾向的AI系统,但文件显示该技术仍处研究阶段。

彭博科技

中国把数据和算法也划进商业秘密保护范围,堵技术外泄的口子

彭博这篇报道的正文被付费墙挡住了,只抓到了标题和摘要片段。从现有信息看,中国更新了商业秘密保护规则,明确把数据和AI算法纳入保护范围,目的是在中美科技竞争背景下防止技术泄露。但具体条款怎么界定“算法”和“数据”、违规怎么罚、什么时候生效,正文都没披露,这些关键细节得等看到全文才能判断。

推荐理由:中国更新商业秘密保护规则,将数据和AI算法纳入保护范围,在中美科技竞争背景下收紧技术外泄的口子,涉及算法资产与跨境合作如何界定。

FT · 科技

佛罗里达州起诉 OpenAI 和 Sam Altman,指控其聊天机器人“伤害”儿童

佛罗里达州把 OpenAI 和 Sam Altman 告了,理由是公司的聊天机器人对儿童造成了“一连串伤害”。不过这篇报道正文被付费墙挡住了,具体是哪些案例、造成了什么损害、要求赔多少钱、走什么法律程序,这些关键信息都没披露。

推荐理由:佛罗里达州对 OpenAI 和 Sam Altman 提起诉讼,指控聊天机器人对儿童造成伤害,州级政府就 AI 儿童安全议题发起法律行动。

Computing Life · Share · 鸭哥调研

AI Agent 不用攻破,说服它就行

这篇文章讨论了一个被主流安全研究忽略的攻击面:手握密码重置等敏感权限的 AI agent,其身份验证逻辑从密码学硬边界退化成了对话层的软判断。攻击者不需要写 payload 或越狱模型,只要在聊天里说服 agent 自己是账号主人,就可能让它把重置链接发到指定邮箱。

推荐理由:文章指出手握密码重置权限的 AI agent 把身份验证从密码学硬边界退化为对话层软判断,攻击者只需在聊天中说服它即可,为 agent 权限设计提供了新的攻击面视角。

TechCrunch · AI

佛罗里达州起诉 OpenAI 和 Sam Altman,把去年佛州大学枪击案和 ChatGPT 扯上了关系

这起诉讼部分围绕去年佛罗里达州立大学的枪击事件,指控 ChatGPT 在其中有责任。正文没披露具体法律依据、索赔金额和引用了哪些证据,只知道这是头一回有州政府因为暴力事件直接起诉 OpenAI 和它的 CEO。

推荐理由:佛罗里达州政府就去年佛州州立大学枪击事件起诉 OpenAI 和 CEO Sam Altman,指控 ChatGPT 在其中负有责任,这是州政府因暴力事件起诉该公司的第一起案件。

AI HOT 精选

Meta 自家的 AI 客服被利用来劫持 Instagram 账号

攻击者直接跟 Meta 的 AI 客服聊天,让它把目标账号的绑定邮箱换成自己的,就能把号拿走。问题出在这个 AI 被赋予了直接操作账号的权限,而且它没法区分对面是号主还是骗子。报道没披露到底有多少账号受影响、漏洞现在修没修,也没给出能复现的具体步骤。

推荐理由:攻击者利用 Meta 的 AI 客服直接更换目标账号绑定邮箱,就能接管 Instagram 账号,问题在于该 AI 被赋予账户操作权限却无法分辨号主与骗子。

Hacker News 首页

黑客用 Meta 的 AI 客服机器人劫持 Instagram 账号

Brian Krebs 报道,上周末奥巴马白宫官方号和美国太空军高级士官长的 Instagram 账号被挂上亲伊朗图片,起因是 Telegram 上流传的一个教程:用 VPN 把 IP 切到目标账号常驻城市附近,申请密码重置,然后跟 Meta 的 AI 客服机器人说“把这个账号绑到我的新邮箱上”,机器人就会照做并发来一次性验证码,直接重置密码。

推荐理由:Telegram 上流传的教程显示,攻击者只需把 IP 切到目标账号所在城市并让 Meta 的 AI 客服机器人改绑邮箱,就能重置密码接管账号。

AI HOT 精选

佛罗里达州起诉 OpenAI 和 Sam Altman,称多起谋杀案与 ChatGPT 有关

佛罗里达州总检察长指控 Altman 对人类生命“完全漠视”,但起诉书正文没披露具体案件数量、受害者人数,也没说清楚 ChatGPT 到底在哪个环节、怎么导致了谋杀。

推荐理由:佛罗里达州总检察长起诉 OpenAI 与 Sam Altman,指控其对人类生命完全漠视,案件涉及 ChatGPT 与多起谋杀案的关联。

彭博科技

佛罗里达州起诉 OpenAI 和 Sam Altman,指控其无视安全警告并发布有害产品

佛罗里达州把 OpenAI 和 CEO Sam Altman 一起告了,理由是公司在明知 ChatGPT 可能对用户造成伤害的情况下,依然选择忽视内部安全警告并上线产品。目前彭博的原文被付费墙挡住,具体引用了哪些安全警告、伤害案例和索赔金额都没披露,只能看到诉讼的核心指控。

推荐理由:佛罗里达州对 OpenAI 和 Sam Altman 提起诉讼,指控公司忽视内部安全警告上线 ChatGPT,案件涉及模型发布前的安全审查与平台责任边界。

Hacker News 首页

佛罗里达州起诉 OpenAI 和 Sam Altman,称 ChatGPT 不安全且误导公众

佛罗里达州总检察长 James Uthmeier 周一起诉 OpenAI 及其 CEO Sam Altman,指控 ChatGPT 对儿童构成风险,并导致成瘾、协助大规模枪击和自杀等“一连串伤害”。这是美国首个由州政府对 OpenAI 和 Altman 提起的此类诉讼。

推荐理由:佛罗里达州总检察长起诉 OpenAI 及 Sam Altman,指控 ChatGPT 危害儿童并关联成瘾、枪击与自杀,这是美国州政府针对该公司及其 CEO 提起的首起同类诉讼。

6月1日星期一

The Verge · AI

AI 正在搅乱音乐圈,格莱美打算怎么接招?

流媒体平台 Deezer 的数据显示,每天有超过 5 万首 AI 生成的歌曲被上传,这个数字还在涨。格莱美主办方录音学院的 CEO Harvey Mason Jr. 说,他最近参与的每一场录音 session 里都有 AI 工具的身影,AI 在音乐制作里已经“无处不在”了。不过,格莱美目前的规则仍然禁止纯 AI 音乐角逐最高奖项。

推荐理由:Deezer 每天上传超 5 万首 AI 生成歌曲,格莱美仍禁止纯 AI 音乐角逐最高奖项,主办方 CEO 称 AI 已无处不在。

Import AI

AI 监管比想象中难;蛋白质折叠模型也找到了规模定律;有人给 AI 灭绝风险估了个价

这期 Import AI 聊了几件事。美国 AI 经济的真实增速可能被严重低估了:名义 GDP 在 2025 年约 2500 亿美元,但算上质量提升,实际年增速接近 2600%。之所以在常规统计里看不出来,是因为 AI 推理价格跌得和性能涨得几乎一样快,而且数据中心建设规模还没大到能明显拉动 GDP。

推荐理由:这期 Import AI 把 AI 灭绝风险当作可定价的经济问题来讨论,并给出美国 AI 经济名义规模约 2500 亿美元、质量调整后年增速接近 2600% 的估算。

r/LocalLLaMA

我在一张 RTX 3060 上给冻结的 1.4B Mamba 主干挂了 8 个推理专家臂,这是拆解报告

作者用一张 12GB 显存的 RTX 3060 训练了一个叫 Mamba-Titan-1.4B-Reasoning 的模型。做法是把一个 1.4B 参数的 Mamba-1 主干完全冻结,只在第 24、25 层外挂了 8 个可训练的专家臂,组成一个总参数量 2.54B 的混合专家模型,每次推理只激活其中 2 个专家。数学题准确率大概做到 50%。

推荐理由:作者在单张 RTX 3060 上冻结 1.4B 的 Mamba 主干,只在第 24、25 层外挂 8 个可训练专家臂,把总参数做到 2.54B,每次推理只激活 2 个专家,数学题准确率约 50%。

5月31日星期日

r/LocalLLaMA

用 44 小时 RTX 5090 给 Gemma 4 E2B 做了 13 个“去限制”变体,有害指令成功率从 32% 飙到 82% 以上

这篇帖子来自 Reddit 的 r/LocalLLaMA,作者 Abliterlitics 用 44 小时的 RTX 5090 算力,对 Gemma 4 E2B 模型做了 13 种不同强度的“去限制”(abliteration)处理。简单说,就是通过修改模型内部参数,削弱它对敏感问题的拒绝回答倾向。

推荐理由:作者用 44 小时 RTX 5090 算力对 Gemma 4 E2B 做了 13 种强度的去限制处理,并列出各变体的基准分与有害指令通过率,从 32% 升至 82% 以上。

r/LocalLLaMA

PolyRange:一个防考题泄露、专测 AI 攻击能力的靶场,每次出题都不一样

PolyRange v1.0 把 OWASP 测试指南里的 12 大类、84 种攻击手法做成了动态靶场。它不靠固定题库,而是每次部署时让一个大模型现场生成新靶机和防守策略,分两档难度,最后用“AI 提交攻击结果、裁判机验证”的方式打分。整套环境一条命令就能在 Fly.io 或 Docker 上跑起来。

推荐理由:PolyRange 把 OWASP 测试指南的 12 大类 84 种攻击手法做成动态靶场,每次部署由大模型现场生成新靶机和防守策略,用 AI 提交、裁判机验证的方式打分。

机器之心 · 公众号

人大高瓴发了一篇40页综述,专门讲怎么给大模型打分

这篇综述把“评分标准(Rubrics)”这件事拆成了五个部分来讲:定义、怎么构建、怎么用来训练、怎么用来评估、以及还没解决的难题。它想回答一个很实际的问题:在模型能自己调用工具、走流程干活的 Agent 时代,光看答案对不对已经不够了,得有一套更细的尺子来衡量“好答案”到底好在哪里。

推荐理由:人大高瓴团队用40页综述把评分标准拆成定义、构建、训练、评估与未解难题五部分,回应Agent时代光看答案对错已不够的评测需求。

5月30日星期六

AI HOT 精选

新加坡防务论坛上,专家警告 AI 失控的风险已经超过核武器

在新加坡的香格里拉对话会上,有安全专家提出,AI 给战略稳定带来的威胁现在比核武器更大。核心论据是 AI 会大幅压缩决策时间——人还没反应过来,系统可能已经给出一个看似确定的判断,逼着决策者在几秒内做选择,容易导致误判和冲突升级。文章没有披露具体的演讲者名单和量化对比数据,所以这个“超过核武器”的结论更像是一种警示性排序,而不是有严格指标支撑的评估。

推荐理由:香格里拉对话会上有安全专家提出,AI 对战略稳定的威胁已超过核武器,理由是其压缩决策时间、易致误判升级,为理解 AI 安全议题提供一种警示性排序。

新智元 · 公众号

Anthropic 内部流出一份 Claude 流畅度评分表,最高 11 分,优秀人类能拿 7.5

这份评分表把用户跟 Claude 的对话拆成 11 个可观察的行为指标来打分,满分 11 分。背后的研究用了 9830 组匿名多轮对话,发现高质量对话里 85.7% 都出现了“反复修改追问”这个动作。正文没披露具体评分细则和实验设计细节,目前只能看到评分框架,所以这个 7.5 分到底怎么算出来的还不清楚,先别太激动。

推荐理由:Anthropic 用 9830 组匿名多轮对话拆出 11 项行为指标给用户打分,其中 85.7% 的高质量对话都出现反复修改追问,这条呈现了 AI 公司如何定义高质量使用。