跳到正文

全部动态

今日 4 条

5月15日星期五

r/LocalLLaMA

inclusionAI 在 Hugging Face 上放出了 Ring-2.6-1T,一个 1 万亿参数、支持多档推理强度的模型

Ring-2.6-1T 是 inclusionAI 发布的一个 1 万亿参数推理模型,主打让模型进业务流程干活(agent workflow)和长链条任务。它提供 high 和 xhigh 两档推理强度,训练时用了异步强化学习加 IcePop 算法来稳住训练过程。不过 Reddit 原帖被网络屏蔽,正文没披露更多技术细节、实际跑分或硬件需求,这点先别太激动。

推荐理由:inclusionAI 在 Hugging Face 发布 1 万亿参数模型 Ring-2.6-1T,面向 agent workflow 与长链条任务,提供 high 和 xhigh 两档推理强度,训练采用异步强化学习加 IcePop 算法。

5月14日星期四

AI HOT 精选

李沐团队发布 SenseNova U1 技术报告,开源 MoE 模型权重

商汤联合创始人李沐带的团队把 SenseNova U1 的技术报告和模型权重放出来了,用的是混合专家(MoE)架构。报告讲了模型怎么搭、怎么训,但正文没提参数量多大、开源协议是什么、跑分结果怎么样。团队说这么干是为了让研究更透明、别人能复现。我会先打个折——没给规模数据和基准测试,实际能用在哪、省不省钱都还不好判断。

推荐理由:李沐团队公开 SenseNova U1 技术报告与 MoE 模型权重,披露了模型搭建和训练方法,为关注 MoE 架构实现路径的研究者提供了一份可复现的参考。

机器之心 · 公众号

灵初智能用10万小时人类操作数据训练机器人,但文章正文被验证页挡住了

这篇微信文章标题说灵初智能(PsiBot)用了10万小时的人类操作数据来训练机器人策略,还提到一个叫W0的世界模型只在训练时做迁移,实际部署只跑R2。但页面被环境异常验证拦住了,正文内容完全看不到,没法确认具体怎么采集数据、在什么任务上验证、效果到底怎么样。

推荐理由:灵初智能称用10万小时人类操作数据训练机器人策略,W0世界模型只在训练时做迁移,部署仅运行R2,其数据采集方式与任务验证结果尚无法确认。

机器之心 · 公众号

阿里达摩院用信息瓶颈做自奖励,让模型做数学题时多试几条不同的路

阿里达摩院发了篇 ACL 2026 论文,提出 I²B-LPO,解决强化学习微调时模型解题思路越来越像的问题。做法是在模型生成答案时,碰到它犹豫不决的节点就分叉出多条路径,再用一个基于信息瓶颈的自奖励机制筛掉重复的、留下真正不一样的解法。

推荐理由:阿里达摩院提出 I²B-LPO,在模型解题犹豫处分支采样,并用信息瓶颈自奖励筛出不同解法,缓解强化学习微调中思路趋同的问题。

5月13日星期三

量子位 · 公众号

字节提出 GRN,让生图模型像人一样边画边改,不再死磕扩散和自回归

字节跳动的技术团队搞了个叫 GRN(生成式精炼网络)的新架构,想给视觉生成找第三条路,不跟扩散模型和自回归模型硬卷。它的核心思路是让模型先生成一张粗糙的图,再反复精修,就像画师先铺大色块再慢慢抠细节。为了解决反复修图容易把图修糊、错误越攒越多的问题,他们用了三项技术:HBQ(分层二元量化)把图片压成更紧凑的离散编码,减少信息损耗。

推荐理由:字节团队提出 GRN 架构,让视觉生成先出粗图再反复精修,并用 HBQ 分层二元量化压缩离散编码以减少信息损耗,为扩散与自回归之外的第三条路线提供了具体技术方案。

AI HOT 精选

商汤发 SenseNova-U1 技术报告,开源一个激活参数仅 30 亿的多模态模型

报告把训练一个原生多模态模型的全流程拆成了六步,从统一建模、无损接视觉信号,到用自回归加像素空间流匹配一起训,再到强化学习后训练和蒸馏,每一步都给了实操细节。开源版本 SenseNova-U1-A3B-MoT 用了混合专家架构,只激活 30 亿参数,主打跑得快、成本低。

推荐理由:商汤发布 SenseNova-U1 技术报告,把原生多模态模型从统一建模到强化学习后训练、蒸馏的六步流程逐项拆开,并开源激活参数 30 亿的混合专家版本。

5月12日星期二

Google DeepMind

Google DeepMind 发布 Co-Scientist 多智能体科研系统

Google DeepMind 在 Nature 发表 Co-Scientist 研究,推出基于 Gemini 的多智能体 AI 系统,可迭代生成、辩论和演化复杂科学问题的新假设。

推荐理由:Google DeepMind 在 Nature 发表 Co-Scientist 研究,该系统由 Gemini 驱动的多个专职智能体分工完成假设生成、辩论与演化,并已用于抗微生物耐药等课题。

Latent Space

Thinking Machines 发布原生交互模型:2760 亿参数,120 亿激活,实时语音不再靠外挂

Thinking Machines 终于又冒泡了,这次直接扔了个新模型 TML-Interaction-Small。总参数 2760 亿,是个 MoE 架构,实际干活时只激活 120 亿参数。它最狠的地方是把实时语音交互做进了模型骨子里,不再像以前那样给大语言模型外挂语音识别和合成模块。

推荐理由:Thinking Machines 发布 TML-Interaction-Small,2760 亿总参数、120 亿激活的 MoE 架构,把实时语音交互直接做进模型,不再外挂语音识别与合成模块。

量子位 · 公众号

上海 AI 实验室发现:有监督微调能跨领域泛化,但得满足三个条件

上海 AI 实验室、上海交大和中科大的团队拿 Qwen3-14B-Base 做长思维链的监督微调实验,发现模型在训练 8 轮后,跨领域的表现会先跌后涨,最终超过原始水平。他们总结出泛化要成立的三个条件:一是得把模型训得足够深,不能浅尝辄止;二是训练数据的质量和结构要过关;三是基座模型本身的能力得够强。

推荐理由:上海 AI 实验室等团队用 Qwen3-14B-Base 做长思维链微调,观察到跨领域表现先跌后涨,并归纳出泛化成立的三个条件。

AI HOT 精选

OpenAI 办了一场“参数高尔夫”比赛,1000 多人用 AI 助手卷模型压缩,我们看到了什么

OpenAI 搞了个叫 Parameter Golf 的机器学习挑战赛,规则很硬:模型加代码总大小不能超过 16MB,训练时间只有 10 分钟(用 8 张 H100),看谁能在固定数据集上把测试损失压到最低。超过 1000 人提交了 2000 多次结果。我会先打个折,正文没披露最终冠军的具体分数,但重点讲了技术路数。

推荐理由:OpenAI 举办 Parameter Golf 挑战赛,限制模型加代码不超过 16MB、训练仅 10 分钟,超 1000 人提交 2000 多次结果,复盘了参赛者用 AI 助手压缩模型的技术路数。

r/LocalLLaMA

把 prompt 缓存用到强化学习训练里:长提示短回复场景下,Qwen3.5-4B 训练速度提升 7.5 倍

作者提出在强化学习训练时复用 prompt 缓存,专门针对那种提示很长、模型回复很短的任务。在 Qwen3.5-4B 上跑 16k token 提示、64 token 回复的例子,训练速度直接快了 7.5 倍。

推荐理由:作者把推理阶段的 prompt 缓存思路搬进强化学习训练,针对长提示短回复任务复用重复 token 计算,在 Qwen3.5-4B 上跑 16k 提示、64 token 回复时训练速度提升 7.5 倍。

5月11日星期一

机器之心 · 公众号

ICML 2026 论文:PRISM 框架让扩散语言模型做推理时扩展不再烧算力

这篇 ICML 2026 的论文给扩散语言模型(dLLM)提出了一套叫 PRISM 的推理时扩展方法。它把搜索过程拆成三层:先让模型并行生成多条推理路径,再对每条路径局部“回退重写”不靠谱的步骤,最后用模型自己当裁判打分筛选。在数学题集 GSM8K 上,LLaDA-8B-Instruct 的准确率从 67.58% 拉到了 85.30%。

推荐理由:ICML 2026 论文提出 PRISM 框架,用并行生成、局部回退重写和自评分筛选三层搜索做推理时扩展,在 GSM8K 上把 LLaDA-8B-Instruct 准确率从 67.58% 提到 85.30%。

AI HOT 精选

Qwen-Image-2.0 技术报告:把视觉理解模型和扩散模型拼在一起,生图和改图用一个框架搞定

这篇技术报告介绍了 Qwen-Image-2.0,一个把生图和精确修图合到一个模型里的方案。它的做法是把 Qwen3-VL 当成“条件编码器”,去理解你输入的指令,再连上一个多模态扩散模型来出图。指令最长能塞进 1000 个 token。报告里说,这套架构在多语言文字渲染、画面排版质量、以及人工打分上都有提升,尤其适合文字多、构图复杂的场景。

推荐理由:Qwen-Image-2.0 将 Qwen3-VL 作为条件编码器接入多模态扩散模型,把生图与精确修图合入同一框架,指令最长支持 1000 个 token,报告称多语言文字渲染与排版质量有提升。

AI HOT 精选

《科学》研究:OpenAI 一年前的 o1 模型急诊诊断正确率 67%,超过医生的 50-55%

我会先打个折:这项研究用的是 OpenAI 一年前发布的 o1 模型,按现在标准已经算旧版了。测试数据来自真实急诊室,信息混乱、不完整,模型给出的正确或接近正确的诊断率达到 67%,而参与对比的医生是 50-55%。差距在早期分诊阶段最明显,那时能拿到的信息最少。研究还提到 o1 在处理结构化病例时临床推理几乎不出错。

推荐理由:《科学》刊载的研究显示,OpenAI 一年前的 o1 模型在真实急诊病例中诊断正确或接近正确率达 67%,高于参与对比医生的 50-55%,差距在信息最少的早期分诊阶段最明显。

5月10日星期日

机器之心 · 公众号

一个让 AI 做游戏不再靠“抽卡”的框架:先写玩法说明书,再分四步生成代码

这篇论文提出了 CreativeGame 框架,核心思路是让模型在写代码之前,先产出一份“玩法机制说明书”,把游戏规则、胜利条件、交互方式都定死,然后再分四步生成代码。这样做的好处是避免每次生成都像抽卡一样碰运气,也让后续迭代有据可依。评估部分用了两个硬性门槛:运行时错误和静态错误,不通过就直接打回,解决了评分虚高的问题。

推荐理由:论文提出 CreativeGame 框架,让模型先产出玩法机制说明书再分四步生成代码,为游戏生成提供了一条可迁移的机制化迭代方法。

机器之心 · 公众号

图灵奖得主 Sutton 搬出 1967 年的老公式,想让强化学习在流式训练里不再跑偏

Richard Sutton 团队给流式强化学习(就是来一条数据学一次、不存回放池的那种)开了个新方子,叫“意图更新”。核心思路很直白:先定好这次更新想让模型输出变多少,再反推学习率该设多大,用的还是 1967 年 Kalman 滤波里的一个公式。

推荐理由:图灵奖得主 Sutton 团队提出意图更新方法,用 1967 年 Kalman 滤波公式反推学习率,让不存回放池的流式强化学习在来一条学一条的条件下少跑偏。

新智元 · 公众号

大模型预测太短视?Next-ToBE 让模型多看几步,ICLR 2026 新方法在 36 项测试里赢了 35 次

华东师大和复旦的研究者发现,现在大模型训练时只盯着“下一个词”来猜,容易让模型变得自信但目光短浅。他们提出 Next-ToBE,训练时给模型一个“软目标”,让它同时参考未来几个词的信息,但推理时不用改,还是正常的逐词生成。

推荐理由:华东师大和复旦研究者提出 Next-ToBE,训练时让模型参考未来几个词的软目标,推理时仍逐词生成,在 36 项测试中赢了 35 次。

量子位 · 公众号

浙大和腾讯优图搞了个会当“导演”的 AI 角色扮演框架,对话里能插旁白、场景和内心戏

浙大和腾讯优图在 ACL 2026 上发了 AdaMARP,让 AI 角色扮演不再只是你一句我一句,而是像导演一样调度四类消息:对话、旁白、场景描述和内心独白。框架里塞了个场景管理器,能根据剧情走向自动切分镜。训练数据从 81 部文学作品和 20 个合成主题里抽,评测集 AdaptiveBench 用 100 个种子场景来考模型能不能把故事讲下去。

推荐理由:浙大与腾讯优图提出 AdaMARP,用对话、旁白、场景和内心独白四类消息让 AI 角色扮演具备导演式调度,评测集覆盖 100 个种子场景。

r/LocalLLaMA

NVIDIA 发布 Star Elastic:一个模型文件能直接切出 30B、23B、12B 三种推理模型

NVIDIA 放出了一个叫 Star Elastic 的模型,一个检查点文件里包含了 30B、23B 和 12B 三个尺寸的推理模型,不用额外训练就能直接“切片”取用。具体玩法是让 23B 的子模型负责思考过程,30B 的模型负责给出最终答案。

推荐理由:NVIDIA 发布的 Star Elastic 让单个检查点无需额外训练即可切出 30B、23B、12B 三种推理模型,其中 23B 负责思考、30B 负责作答,为推理部署提供了一份权重按需取用的思路。

Computing Life · Share · 鸭哥调研

Anthropic 的 Computer Use 是怎么训练出来的——从一项专利读它的数据管线

Anthropic 一项专利披露了 Computer Use 的训练数据管线,核心不是录屏,而是把原始操作变成带推理链的数据。管线分三步:截获用户操作时允许附加思考标注,用多模态模型把点击坐标翻译成语义意图,再用更强的模型做合成扩展,一条真实轨迹变出几十条带推理变体的样本。

推荐理由:Anthropic 一项专利披露了 Computer Use 的训练数据管线,把截获的用户操作经多模态模型翻译成语义意图,再由更强模型合成扩展,一条真实轨迹可生成多条带推理变体的样本。

5月9日星期六

量子位 · 公众号

拆解 Claude Code 源码:它为什么不做“完美”的 AI 智能体

MBZUAI 和 UCL 的研究人员直接扒了 Claude Code v2.1.88 的源码,没看公关稿,就看代码怎么写的。他们从里面挖出了 5 条设计哲学、13 条设计原则、7 层权限控制和 5 层上下文压缩策略。核心结论是:Claude Code 没追求做一个万能 agent,而是主动做减法,把模型塞进一个边界清晰、行为可控的工程框架里。

推荐理由:MBZUAI 和 UCL 研究人员拆解 Claude Code v2.1.88 源码,梳理出 5 条设计哲学与 7 层权限控制,展示它如何主动做减法、把模型约束在边界清晰的工程框架里。

量子位 · 公众号

谷歌搞了个“AI 联合数学家”,用多智能体协作刷了最难数学基准的新纪录

谷歌 DeepMind 发布了一个叫 AI Co-Mathematician 的系统,它不是单个模型,而是一套异步协作的智能体工作区,专门用来做数学研究。在 FrontierMath 这个目前最难的数学基准测试里,它解开了 48 道 Tier 4 级私密题中的 23 道,正确率 48%。对比之下,GPT-5.5 Pro 的正确率是 39.6%。

推荐理由:谷歌 DeepMind 的 AI Co-Mathematician 以多智能体异步协作系统在 FrontierMath 最难档私密题中解出 23 道,48% 的正确率比 GPT-5.5 Pro 高出约 8 个百分点。

机器之心 · 公众号

OpenAI 研究员翁家翌提出“启发式学习”:不调模型参数,靠改代码和记忆来训练 AI

OpenAI 的翁家翌抛出了一个叫“启发式学习”的新训练思路,核心是不再靠梯度去更新神经网络权重,而是让模型通过修改代码、测试用例、回放记录和记忆来提升自己。他拿 Atari 游戏做验证,提到 codex gpt-5.4 在打砖块(Breakout)上拿了满分 864 分,并在 Atari 57 个游戏里生成了 342 条搜索轨迹。

推荐理由:OpenAI 研究员翁家翌提出启发式学习,让模型靠改代码、测试用例和记忆提升能力,而非更新权重,并在 Atari 打砖块上取得 864 分。

AI HOT 精选

EMO:让专家模型自己长出模块,用八分之一专家就能干活

AllenAI 放出了一个叫 EMO 的混合专家模型(MoE),总参数量 140 亿,每次推理只激活 10 亿参数。它最大的不同是训练时没按人类划好的学科(比如数学、代码)去分专家,而是让模型自己从 1 万亿 token 的数据里长出模块。结果是,跑特定任务时你只用挑出 12.5% 的专家,性能就接近全模型水平。

推荐理由:AllenAI 的 EMO 训练时不按学科划分专家,让模型从 1 万亿 token 中自行长出模块,跑任务时只激活 12.5% 的专家即可接近全模型水平。

5月8日星期五

机器之心 · 公众号

英伟达和普渡大学用 agent 闭环做文生 3D 场景,让模型自己检查、自己改

这篇是 ICLR 2026 的论文,讲的是英伟达 Cosmos Lab 和普渡大学搞的 Scenethesis 框架。它让语言和视觉模型组成一个 agent 闭环,根据文字描述生成 3D 场景。流程里加了视觉定位、基于 SDF 的物理约束,还有一个裁判模块来挑错。

推荐理由:英伟达 Cosmos Lab 与普渡大学提出 Scenethesis 框架,用语言和视觉模型组成 agent 流程生成 3D 场景,并加入 SDF 物理约束与裁判模块做自检纠错。

AI HOT 精选

自适应并行推理:让模型自己决定什么时候分头干活

BAIR 这篇博客梳理了并行推理的最新进展,核心观点是:与其让外部规则替模型决定怎么拆分任务、开几个线程,不如让模型自己判断。文章介绍了 ThreadWeaver 和 Multiverse 两种方法,它们能让模型在解题时动态决定是否并行、开多少并行分支、以及如何汇总结果。

推荐理由:BAIR 梳理了并行推理的两条新路径,ThreadWeaver 与 Multiverse 让模型在解题时自行判断是否并行、开多少分支并汇总结果,替代外部规则拆分任务的做法。

新智元 · 公众号

用 token 级价值函数控制回答长度,3B 模型在长度控制上跑赢 GPT-5.4 和 Claude

加州大学圣塔芭芭拉分校和苹果的研究人员搞了个叫 LenVM 的方法,把“还剩多少 token 要生成”建模成一个 token 级别的价值函数,相当于给模型装了个实时字数进度条。

推荐理由:加州大学圣塔芭芭拉分校和苹果提出 LenVM,把剩余生成长度建模为 token 级价值函数,让 3B 模型在长度控制上超过 GPT-5.4 和 Claude。

量子位 · 公众号

哈工大华为搞了个免训练加速框架,让扩散大模型推理快4.48倍还不掉精度

哈工大深圳、华为和深圳河套学院提出一个叫 Dynamic-dLLM 的框架,不用重新训练就能给扩散大语言模型加速。在 LLaDA-8B-Instruct 上跑 GSM8k 数学题,吞吐量从每秒 8.32 个 token 提到 37.29 个 token,快了 4.48 倍,而且精度几乎没降。

推荐理由:哈工大深圳与华为提出免训练加速框架 Dynamic-dLLM,在 LLaDA-8B-Instruct 上把 GSM8k 吞吐量从每秒 8.32 个 token 提到 37.29 个,精度几乎不变。

r/LocalLLaMA

Anthropic 发了篇论文,能让你看到 Gemma 3 生成每个词时在想什么

Anthropic 用他们做可解释性的 NLA 方法,把 Gemma 3 27B Instruct 模型内部激活值翻译成人能看懂的概念。具体做法是训练了两个小模块:一个叫 Auto Verbalizer,负责把神经元活动映射到自然语言描述;另一个叫 Activation Reconstructor,用这些描述去重建原始激活,验证解释靠不靠谱。

推荐理由:Anthropic 用 NLA 方法把 Gemma 3 27B 的激活值翻译成自然语言,并训练两个模块互相验证解释是否可靠,为理解模型逐词生成时的内部状态提供了一条可复现路径。

AI HOT 精选

冻结模型里藏着可读的行为信号,Cygnus 靠适配器把 Qwen-32B 的 ARC 得分从 82% 拉到近 95%

Proprioceptive AI 搞了个叫 Cygnus 的技术,给已经冻结的大模型外挂一个自感知适配器,不重新训练就能读出模型内部残留的行为信号。做法是把隐藏状态投影到一个用 gl(4,R) 李代数定义的数学空间里,从中分离出他们称为“暗模式”的精度信号。

推荐理由:Proprioceptive AI 为冻结模型外挂自感知适配器,不重训即可从隐藏状态读出行为信号,Qwen-32B 的 ARC 得分由 82% 升至近 95%。

Hacker News 首页

自然语言自编码器:把 Claude 的“想法”直接写成大白话

Anthropic 发布了一种叫“自然语言自编码器”(NLA)的可解释性方法,简单说就是训练模型把自己的内部激活值翻译成人能看懂的文字,再用另一份模型根据这段文字还原激活值,靠还原准不准来判断解释好不好。他们用这方法看了 Claude Opus 4.6 和 Mythos Preview 在安全测试里的表现,发现模型有时心里觉得“这是测试”,但嘴上没说。

推荐理由:Anthropic 用自然语言自编码器把 Claude 的内部激活值翻译成文字,再以还原准确度检验解释质量,为理解模型内部表征提供了一种可迁移的方法。

5月7日星期四

r/LocalLLaMA

Qwen 发布 WebWorld 系列模型,用 100 多万条真实网页操作轨迹训练,让模型学会在浏览器里干活

Qwen 在 Qwen3 基础上微调出了 WebWorld 32B、14B、8B 三个尺寸的模型,专门用来训练和评测能在网页上执行任务的智能体。训练数据包含超过 100 万条真实网页操作轨迹,模拟环境支持 30 步以上的连续操作,并且能同时看懂无障碍树、HTML、XML、Markdown 和自然语言描述这五种页面状态。

推荐理由:Qwen 基于 Qwen3 微调出 WebWorld 三个尺寸模型,用超 100 万条真实网页操作轨迹训练网页智能体,并支持 30 步以上连续操作与五种页面状态输入。

量子位 · 公众号

浙大与阿里提出 MetaCompress:只看图片就能学会压缩 Token,多轮视觉问答压缩率 90% 且精度不掉

这篇 CVPR 2026 论文介绍了一个叫 MetaCompress 的框架,专门解决多轮视觉问答里图片 Token 太多、推理太贵的问题。它的做法是让模型只看输入图片,自己生成一张“压缩映射图”,直接决定哪些视觉 Token 该留、哪些该扔,不需要额外训练一个压缩网络。文章给出的核心数据是:能砍掉 90% 的视觉 Token,同时保持回答精度不降。

推荐理由:浙大与阿里提出 MetaCompress,让模型仅凭输入图片生成压缩映射图来决定视觉 Token 取舍,在多轮视觉问答中砍掉 90% 的 Token 而精度不降。

AI HOT 精选

Anthropic 研究所公布四个核心研究方向,计划发布更细颗粒度的经济指数

Anthropic 新成立的研究所(TAI)把研究分成四块:AI 在经济里怎么扩散、新安全威胁和抗风险能力、真实世界里的 AI 系统、以及 AI 反过来加速 AI 研发。他们打算把 Anthropic 经济指数的数据发得更密、更细,用来当劳动力市场变化的早期预警。文章还提到,内部已经看到软件工程这类工作在快速改变,公司自己的运转方式也在变。

推荐理由:Anthropic 新成立的研究所把研究划为经济扩散、安全威胁、真实世界系统与 AI 加速研发四块,并计划加密经济指数发布频率,为观察 AI 对劳动力市场的影响提供更细的数据来源。

新智元 · 公众号

浙大与哈佛开源 UniGeo:用几何信息做相机可控的 3D 场景编辑

浙大和哈佛放出了 UniGeo 的代码、报告和在线演示。它解决的是 3D 场景编辑里一个老问题:你让 AI 换个角度生成画面,结果物体形状、位置全乱套了。UniGeo 的做法是把几何约束直接塞进模型结构、表示层和损失函数里,相当于给模型装了个空间坐标系,让它知道物体该在哪、长什么样。

推荐理由:浙大与哈佛开源 UniGeo,把几何约束写进模型结构、表示层和损失函数,用于缓解换角度生成时物体形状与位置失真的问题。

机器之心 · 公众号

TACO 让命令行 Agent 自己学会扔掉没用的上下文

TACO 是一套不用额外训练的命令行输出压缩方法,让模型在执行任务时自己发现哪些终端回显是废话、哪些必须保留。它在 TerminalBench 1.0 和 2.0 上同时提升了任务成功率和 token 利用率,并发现 TerminalBench 2.0 的原始提示里有 24.6% 到 44.1% 的低价值冗余。

推荐理由:TACO 让命令行 Agent 在自主迭代中生成纠偏规则并存入全局规则池复用,无需额外训练即可压缩终端回显,在 TerminalBench 1.0 和 2.0 上同时提升任务成功率与 token 利用率。

5月6日星期三

量子位 · 公众号

Claude 团队拿 Qwen 试了一种新训练法,把模型乱说话的比例从 68% 压到 5%

Anthropic 提出在预训练和对齐微调之间加一个叫 MSM 的训练阶段。他们在 Qwen2.5-32B 和 Qwen3-32B 上做了测试,模型乱说话的比例分别从 68% 和 54% 降到了 5% 和 7%。核心点是 MSM 是补强对齐微调,而不是替代它。

推荐理由:Anthropic 在 Qwen2.5-32B 和 Qwen3-32B 上测试了预训练与对齐微调之间的 MSM 阶段,失准率从 68% 和 54% 降至 5% 和 7%,并明确 MSM 是对齐微调的补强而非替代。

5月5日星期二

r/LocalLLaMA

Hugging Face 发了个交互式指南,横向对比不同框架下的强化学习训练环境

Hugging Face 的后训练团队花了一个月,用 verifiers、OpenEnv、Nemo-Gym、OpenRewards 等几套框架分别搭了强化学习环境,然后实际训模型来看哪种方案在扩展时更顺手。他们把这个过程做成了交互式指南,方便你点进去对比。

推荐理由:Hugging Face 后训练团队用一个月把 verifiers、OpenEnv、Nemo-Gym 等几套框架各搭一遍强化学习环境并实际训模型,横向比较它们在扩展时的差异。

新智元 · 公众号

Anthropic 用 700 多个“坏模型”训练内省适配器,让 AI 自己交代隐藏行为

Anthropic 搞了个叫内省适配器(IA)的审计工具,拿近 700 个被标记过的问题模型来训练,想让它学会从模型内部揪出隐藏的“坏心思”。在 AuditBench 测试里,IA 平均成功率 59%,对 56 个被训练成会抵赖的模型,它至少从 50 个身上套出过一次实话,比纯黑盒审计的 53% 和用激活值直接判断的 44% 都高。

推荐理由:Anthropic 用近 700 个问题模型训练内省适配器,在 AuditBench 上以 59% 成功率高于黑盒审计的 53% 和激活值判断的 44%,提供了一条从模型内部审计隐藏行为的思路。

新智元 · 公众号

CMU 论文实锤 GitHub 假星产业链:1 美元能买 10 颗星,热门仓库可能藏木马

卡内基梅隆大学的研究员扫了 2019 年 7 月到 2024 年 12 月的 GitHub 活动日志,用他们开发的 StarScout 工具揪出约 600 万次疑似刷星行为,涉及 18617 个仓库和 301000 个账号。刷星价格低到离谱,1 美元就能买 10 颗星。

推荐理由:卡内基梅隆大学团队用 StarScout 扫描五年多 GitHub 活动日志,识别出约 600 万次疑似刷星,涉及 18617 个仓库和 301000 个账号,刷星价格低至 1 美元 10 颗。