数据与训练

训练侧的门道：数据集构建、合成数据、预训练与后训练方法、算力与训练成本。

5月19日星期二

AI HOT 精选5/19 00:00

NVIDIA 用 LoRA/DoRA 微调 Cosmos Predict 2.5，让它能生成机器人第一视角视频

NVIDIA 发了一篇技术博客，教你怎么用 LoRA 和 DoRA 这两种轻量微调方法，去训练他们自家的 Cosmos Predict 2.5 视频模型。目标是让模型能根据文字指令，生成机器人看到的画面，比如机械臂在桌上抓东西。博客把训练数据准备、代码怎么改、训练命令都贴出来了，但没提用了多少数据、训练花了多少钱、也没给任何评测分数，所以效果到底怎么样...

推荐理由：我会先打个折：正文没给数据量、没给评测分数，所以没法判断效果到底多好。但这条信息本身挺实在——NVIDIA 把 Cosmos Predict 2.5 拿出来，用 LoRA 和 DoRA 两种轻量微调方法，教模型按文字指令生成机器人第一视角视频。LoRA 是只动一小部分参数来省钱省算力，DoRA 在 LoRA 基础上把权重拆成方向和大小分开调，理论上更稳。对做具身智能的人来说，这等于多了一条低成本造训练视频的路子，不用全量微调大模型也能试。不过正文没写用了多少条视频、什么机器人平台、生成质量怎么衡量，这些缺口让实用性打折扣。整体看，技术路线清楚、痛点...

锐评

这篇博客本质上是一份操作手册，告诉你如何用 LoRA 和 DoRA 这两种省参数的微调方法，去训练 Cosmos Predict 2.5 模型，让它能根据文字指令生成机器人第一视角的视频，比如机械臂抓取物体的连续画面。LoRA 和 DoRA 的好处是只动模型的一小部分参数，训练起来比全量微调省钱省卡，适合团队拿自己的机器人数据做快速实验。

但文章的信息缺口很明显：没提用了多少条视频做训练，没给任何定量评测指标（比如生成视频的 FVD 分数或人工评分），也没披露训练用了多少 GPU 小时、大概花多少钱。所以这更像一个技术可行性演示，而不是一个经过验证的解决方案。如果你打算在自己的机器人场景里复现，得做好自己标数据、自己跑消融实验的准备，别指望拿来就能用。

5月18日星期一

机器之心 · 公众号5/18 12:47

华为 GTS 在 ICML 2026 发了一篇用推理熵值动态挑训练样本的方法，Amazon 和 Google 的作者也跟进了类似思路

这篇论文提出了一种叫 EDCO 的动态课程微调方法，核心是用模型推理时的“熵值”来判断样本难度，自动挑出当前模型最该学的数据，而不是靠人手动分阶段。他们搞了个前缀熵值估算，把每一条样本的评分时间从 2.24 秒压到了 0.37 秒，省了不少算力。文章本身因为微信环境异常没抓到正文，具体实验数据、在什么任务上验证的、以及 Amazon/Google 团队...

推荐理由：我会先打个折：这还是个训练方法论文，不是模型或产品发布，所以分数没给更高。但它的钩子很足——华为提出 EDCO，用推理熵动态挑样本，Amazon 和 Google 的人光速跟进，说明这个方向在圈内被盯上了。核心卖点是前缀熵估计，把单样本耗时从 2.24 秒砍到 0.37 秒，省了八成多时间，对做微调的人来说是实打实的成本优化。正文没披露这个方法在大规模多任务上的泛化验证，这点先别太激动，但思路本身对数据筛选和训练成本敏感的场景很有启发。

锐评

这篇论文提出了一种叫EDCO的动态课程微调方法，说白了就是让模型自己判断哪些训练数据当前最值得学，而不是靠人手动分阶段喂数据。它用模型推理时产生的“熵值”来衡量样本难度，熵值高说明模型拿不准，就该优先学。为了省算力，他们搞了个前缀熵值估算，把每条样本的评分时间从2.24秒压到了0.37秒，这个加速效果挺实在。

但问题在于，文章因为微信环境异常没抓到正文，所有实验数据、在什么任务上验证的、跟现有方法比到底好多少，全都没披露。标题里说Amazon和Google团队“光速跟进”，也没给出具体出处或论文链接，更像是一种宣传话术。

如果这个方法真能在多个任务上稳定提升，而且评分开销确实低，那对做微调的人来说是个实用工具。但现在缺的东西太多：没看到准确率对比、没看到在不同规模模型上的表现、也没说这套方法对数据质量本身有没有额外要求。等正文能读到再下判断。

r/LocalLLaMA5/18 10:14

TIME：让 Qwen 模型只在需要时短思考，而不是一直过度推理

作者用 QLoRA 在 Qwen3 的 4B 到 32B 全系列上训练了一个叫 TIME 的方法，核心思路是当上下文发生变化时，模型才触发一段简短的中途推理，避免没完没了地“想太多”。帖子说数据集、notebook、训练脚本、课程学习方案和 TIMEBench 评测都公开了，24GB 显存就能训到 14B 规模。不过正文被 Reddit 的安全策略挡了...

推荐理由：我会先打个折：这是 Reddit 单帖发布，不是实验室论文，所以放在 featured 里 74 分比较合适。但内容本身挺实在——作者没去追长链推理，而是让模型在上下文切换时做短思考，避免“想太多”拖慢速度。用 QLoRA 在 Qwen3 四个尺寸上都训了，代码和数据全公开，24GB 显存能玩到 14B，这点如果是真的挺省钱。TIMEBench 评测也给了，不是空口说效果。整体对想自己动手调模型的人有直接参考价值，信息量够，判断也挂得住。

锐评

这条帖子的思路挺直接：模型不是每句话都需要深度推理，只在对话上下文发生实质变化时触发一段短思考，能省算力、降延迟。作者在 Qwen3 的 4B 到 32B 全系列上都做了 QLoRA 微调，还公开了数据集、训练脚本和 TIMEBench 评测，声称 24GB 显存就能训到 14B 规模，对个人开发者比较友好。

但问题在于，Reddit 的安全策略把正文挡了，我们看不到任何实际指标——触发准确率、推理长度分布、跟全量思考模式比省了多少 token、在哪些任务上会漏判。标题里“short context-triggered thinking”这个机制具体怎么定义“上下文变化”也没法核实。

我会先打个折：思路合理，开源态度加分，但没有实测数据和失败案例分析之前，只能当个值得关注的方向。如果作者后续补上 TIMEBench 上的对比结果和触发机制的边界条件，这条新闻的含金量会高很多。

AI HOT 精选5/18 08:00

Cursor 发布 Composer 2.5，用文字反馈教模型改掉坏习惯，合成数据规模翻了 25 倍

Cursor 把代码助手 Composer 升级到了 2.5 版，底层还是基于月之暗面的 Kimi K2.5 开源模型。这次主要做了三件事：一是用“文字反馈强化学习”，在模型犯错的地方直接插一句提示（比如“提醒：可用工具有这些”），让模型在那个点上学会纠正，而不是靠最后的总分去猜哪里做错了；二是把合成训练数据的量提到了上一代的 25 倍，并且动态生成更...

推荐理由：HKR 三项都踩中了：Cursor 本身就是编程助手的核心入口，文章又给了 Moonshot 基座、25 倍合成数据、文本反馈 RL 和分片 Muon 这些实打实的训练细节。我会先打个折——正文没给基准测试、没提价格，也没说用户端能力边界，所以分数卡在 78–84 这个区间是合理的。

锐评

这次 Composer 2.5 的核心变化不是换了个更强的底座模型，而是改了训练方法。他们用了一种叫“文字反馈强化学习”的方式：模型在生成代码的过程中一旦犯错，训练系统会直接在出错的位置插入一句提示，比如“提醒：可用的工具有这些”，让模型在那个点上学会纠正。这比传统方法聪明——以前是看整段输出的最终得分，模型得自己猜哪里做错了，信号很模糊。Cursor 说这能改善长任务里的持续工作能力和指令遵循度，还顺带调了模型的沟通风格和“努力程度”，但这些行为指标没有公开的基准测试可以验证，只能靠用户自己感受。

另一个值得注意的点是合成训练数据量提到了上一代的 25 倍，并且是从真实代码库里动态生成的。这解释了为什么他们敢说模型更“聪明”了——数据规模上去了，覆盖的场景更复杂。但正文没披露具体用了哪些代码库、数据质量怎么控制，也没说这种规模扩张对训练成本的影响有多大。

他们还提到正和 SpaceXAI 一起从头训练一个更大的模型，算力是这次的 10 倍，用了百万张 H100 等效卡。这是个远期饼，现在能用的还是基于 Kimi K2.5 微调出来的版本。如果你期待的是模型架构层面的突破，这次更新可能会让你觉得不够过瘾；但如果你关心的是代码助手在实际项目里能不能少犯低级错误、更听话，这个“当场纠错”的思路值得关注。

5月17日星期日

Google DeepMind5/17 21:50

Google DeepMind 推出 Gemini for Science 科学工具集

Google DeepMind 发布 Gemini for Science，包含 Google Labs 上三个实验性工具：基于 Co-Scientist 的 Hypothesis Generation。

推荐理由：Google 把 Co-Scientist、AlphaEvolve 等研究原型打包成可申请的科学工具，读者可据此判断智能体科研的落地形态。

量子位 · 公众号5/17 18:22

TGO：不用人工挑好坏样本，靠一个分数就能把生图模型调得更听话

新加坡国立大学搞了个叫 TGO（阈值引导优化）的方法，被 ICML 2026 收了。它最大的好处是不需要提前构造“这张比那张好”的偏好对，直接拿一个标量分数（比如美学分、图文匹配度）就能做对齐。做法是先让模型生成一批图，算出分数的分布，定一个阈值：高于阈值的当正样本往上拉，低于的当负样本往下压。论文在 Stable Diffusion v1.5、FLU...

推荐理由：这篇 ICML 2026 的论文提了个叫 TGO 的方法，核心是把标量反馈（比如一个打分）直接转成模型的正负更新方向，不用像传统 RLHF 那样先构造偏好对。我会先打个折：正文没披露具体节省了多少标注成本或计算量，但思路本身挺直接——用分数分布的阈值来决定哪些样本该学、哪些该躲。实验覆盖了四个主流视觉生成模型，从 SD v1.5 到 FLUX 都有，说明不是单点特调。这点先别太激动，因为论文偏研究向，离工程落地还有距离，但对正在头疼对齐数据采集的团队来说，值得看一眼。

锐评

这篇 ICML 2026 的工作解决了一个很实际的痛点：做视觉模型对齐时，不用再人工构造“A 比 B 好”的偏好对，直接拿一个标量分数（比如美学评分、图文匹配度）就能开训。做法是先让模型生成一批图，算出分数分布，定个阈值，高于阈值的当正样本往上拉，低于的当负样本往下压。论文在 Stable Diffusion v1.5、FLUX、Wan 1.3B 和 Meissonic 上都跑了实验，覆盖图像和视频生成，说明方法通用性不错。

不过正文没披露具体阈值怎么定、对分数分布敏感度如何，也没给出和传统偏好对方法在相同预算下的直接对比。这点先别太激动——省掉偏好对标注是省了人工，但如果阈值调不好，正负样本划分可能很糙，最终效果会打折扣。另外，实验用的分数模型本身有没有偏、能不能代表真实用户偏好，正文也没展开。

Dwarkesh Patel 播客5/17 03:01

预训练并行策略与翻车训练笔记

这篇笔记聊了两件事：预训练为什么容易跑崩，以及怎么把训练拆到多张 GPU 上。跑崩的核心原因有两个——破坏因果性和引入偏差。比如 MoE 路由里用专家选择（expert choice）分配 token，会让 token n 的去向依赖 token n+k 的路由结果，训练时看到了推理时看不到的信息；token 丢弃也会让后面的 token 影响前面的处...

推荐理由：Dwarkesh 这期笔记把预训练里容易翻车的地方摊开讲：expert choice 和 token dropping 会破坏因果性，FP16 集体通信能把一万次累加算偏，这些坑不踩过很难意识到。我会先打个折——它更像从业者之间的经验交换，不是系统性的技术报告，但给的数字（6ND、288GB、参数量×3）对算成本和排故障都有用。正文没展开具体实验验证，所以别当定量结论用。

锐评

这篇笔记把预训练翻车的坑讲得很实在。核心就两类：一是破坏因果性，比如 MoE 里用专家选择分配 token，会让 token n 的去向依赖后面 token n+k 的路由结果，训练时偷看了推理时拿不到的信息，传 Llama 4 表现不佳可能跟这有关；token 丢弃也有类似问题，后面 token 匹配度更高会导致前面 token 被忽略，Gemini 2 Pro 据说踩过这个坑。二是引入偏差，偏差不像方差能平均掉，会越滚越大。GPT-4 早期训练就栽在 FP16 集体通信上——FP16 在 1024 以上精度间隔变大，反复加 1 会被反复舍入回原值，累加结果能差 10 倍，这种 bug 极难排查。

文章还抛出一个有意思的问题：训练翻车的原因是不是就那么几种，修完就一劳永逸？聊的人觉得不是，规模每上一个台阶都会有新坑冒出来，光数值精度这一块就能花式翻车。另外他对 AI 自动写 CUDA kernel 短期不乐观，认为这更接近 AGI 完全体问题。

缺的东西也明显：全是经验之谈和传闻，没有实验数据或复现验证，Llama 4 和 Gemini 2 Pro 的案例都标注是 rumor 和 apparently。当成工程避坑清单看有用，但别当正式结论引用。

5月15日星期五

r/LocalLLaMA5/15 07:09

用强化学习让 Qwen3.5 自己攻自己，再把失败案例喂回去加固防线

作者搭了一套全自动的红队演练循环：先训练一个攻击模型，用强化学习（GRPO）对着 Qwen3.5 不断尝试越狱，成功诱导出有害回答就给奖励。第一轮攻击很快塌缩成同一种“写小说”套路，翻来覆去就一招。后来他们把攻击按底层策略聚类，奖励除以该策略的使用次数，逼攻击模型去挖新花样，这才炸出 7 类不同的越狱手法，其中虚构创作类占比最高，达 34%。接着用这些...

推荐理由：我会先打个折：这是 Reddit 个人帖，没挂论文也没开源代码，数字只能当参考。但故事本身挺有意思——作者没靠人工写攻击样本，而是用强化学习让 Qwen3.5 自己琢磨怎么越狱，再把翻车案例拿来加固模型，形成一个自动红队闭环。防御率从 64% 跳到 92% 看着漂亮，不过良性准确率从 92% 跌到 88%，说明模型变保守了，正常问题也开始拒答。攻击器挖出 7 类策略，正文没展开细节，不知道覆盖面和实际危害有多大。整体像一份个人实验笔记，有启发但缺验证，先别太激动。

锐评

这个实验最实在的地方是它把红队演练做成了全自动闭环，而且没藏着掖着攻击模型“偷懒”的问题。第一轮GRPO训练的攻击模型很快就塌缩成反复用“虚构创作”这一种套路，说明不加干预的强化学习在越狱任务上会走捷径。作者用的解法很直接：先把攻击按底层策略聚类，再用奖励除以该策略的使用次数，逼模型去探索新花样。这招确实管用，炸出了7类不同的越狱手法，其中虚构创作类占比最高，达34%。

防守侧的训练数据来自成功攻击样本加上良性边界案例，目的是让模型学会拒绝有害请求，但别把正常问题也误杀了。结果防守率从64%跳到92%，提升明显；代价是良性准确率从92%掉到88%。这个4%的跌幅不算小，说明模型在安全对齐上有点“宁可错杀”的倾向。

信息缺口也很清楚：正文没披露用了什么有害请求集、攻击模型和防守模型的具体规模，也没说这7类越狱手法具体是什么、各自成功率多少。另外，良性准确率是在哪个测试集上测的也没交代，如果测试集本身偏简单，88%这个数字可能还要再打个折。

r/LocalLLaMA5/15 06:55

让 7B 小模型从自己的错误里学习，HumanEval 正确率从 15% 涨到 68%，跑一次训练只要 3.5 美元

作者拿 Qwen 2.5 7B 基础模型做实验，先让它自己写代码、自己跑测试，把跑不过的代码和报错信息收集起来，再让它根据报错改出正确版本，这样就自动生成了“错误-修正”配对数据。用这批数据微调后，7B 模型在 HumanEval 上的通过题数从 25 题（约 15%）提升到 112 题（约 68%），数学能力也超过了 GPT-3.5。14B 版本只用...

推荐理由：我会先打个折：标题说 80% 但正文是 112/164，约 68%，这点先别太激动。不过 hook 确实抓人——让模型自己写题、自己答、再自己改错，用这些修正对去微调，HumanEval 直接翻几倍。14B 版本只用了 100 对样本、一张 H100 跑一个半小时花 3.50 美元，成本低到可以复现。正文没披露数学 benchmark 的具体名称和完整分数，验证偏弱，但作为单人实验，信息量和可操作性都够。保留 78 分，因为它是单篇 Reddit 帖子，且 80% 的说法和实际数字有出入。

锐评

这个实验的思路很直接：让Qwen 2.5 7B先写代码，跑不过就收集报错和错误代码，再让它自己改出正确版本，用这些“错误-修正”配对数据做微调。结果HumanEval从25题（约15%）跳到112题（约68%），数学能力也超过了GPT-3.5。14B版本只用100对数据，在H100上跑95分钟，花费3.5美元。

先打个折：这是个人实验，正文没披露测试集是否与训练数据有重叠，也没说HumanEval的164题是不是全测了。80%这个标题数字和68%的通过率对不上，可能混了其他设定。另外，只比了GPT-3.5，没和同等规模的微调模型对照，说服力有限。

不过思路值得关注。它不需要人工标注，靠模型自己的执行反馈就能生成训练数据，对代码、数学这类有客观对错的场景尤其适用。缺的是多轮迭代的效果、不同基座模型的对比，以及错误类型分布的分析——如果模型只会改语法错误而逻辑错误原地踏步，那上限就很明显了。

r/LocalLLaMA5/15 01:33

MOOSE-Star：用 7B 小模型和 10 万篇论文做科学假设发现，ICML 2026 接收

MiroMind 放出了 MOOSE-Star 系列，包含三个 7B 模型和一个叫 TOMATO-Star 的数据集，里面有 108,717 篇 NCBI 论文。其中 MS-IR-7B 在“灵感检索”任务上准确率到了 54.37%，底子是 DeepSeek-R1-Distill-Qwen-7B，fp16 跑起来大概占 14GB 显存，支持 llama....

推荐理由：我会先打个折：正文没披露 54.37% 这个准确率是在什么基准上测的、对比了哪些方法，所以这个数字先别太激动。但整套东西的钩子很实在——用 7B 小模型加 10.8 万篇 NCBI 论文搭一个科学假设发现的流程，fp16 才 14GB，本地就能跑。对想做科研 RAG 或让模型进文献分析流程的团队来说，这是个现成的起点，数据集和模型权重都公开了。

锐评

MiroMind 放出的 MOOSE-Star 是个专门从论文里挖科研灵感的模型，7B 参数，底子是 DeepSeek-R1-Distill-Qwen-7B。它带着一个叫 TOMATO-Star 的数据集，里面有 108,717 篇 NCBI 论文。其中 MS-IR-7B 这个版本在“灵感检索”任务上拿到了 54.37% 的准确率。

这个准确率不算高，但考虑到模型只有 7B，fp16 跑起来大概占 14GB 显存，还支持 llama.cpp、vLLM 和 SGLang，本地部署门槛很低。论文被 ICML 2026 接收，方法上应该有些新东西，但正文没披露具体是怎么训练和评估的，也没说这个准确率在同类任务里算什么水平。

我会先打个折：54% 的准确率意味着将近一半的检索结果可能不相关，实际用起来还得人工筛选。另外，数据集只覆盖 NCBI 论文，跨领域效果未知。如果是真的能在单卡上跑通科研灵感挖掘的流程，这个方向挺有意思，但离“好用”还有距离。

5月14日星期四

r/LocalLLaMA5/14 18:32

有人把 HuggingFace 的 AI 研究员搬到了本地，用 llama.cpp 跑通了一条自动微调流水线

HuggingFace 之前开源了一个叫 ml-intern 的自动化 AI 研究员，现在社区有人把它接上了 llama.cpp 和 ollama，让整个流程能在本地跑。帖子说用 Qwen3.6-35B-A3B 这个模型就能当大脑，指挥 CPU/GPU 沙箱和 HuggingFace Hub 上的任务，从头到尾完成一次 SFT（有监督微调）。正文没披露...

推荐理由：我会先打个折：这是 Reddit 出来的开源工具更新，不是大模型发布。但本地沙箱加 Hub 作业编排能跑通完整微调，对想在自己机器上做自动化实验的人挺实用。正文没披露具体延迟和资源占用，这点先别太激动。

锐评

这条消息的亮点是“本地化”：之前 ml-intern 这类自动化研究员通常依赖云端 API，现在社区让它能在自己机器上跑，意味着数据不出门、成本更可控。帖子提到用 Qwen3.6-35B-A3B 当大脑，指挥 CPU/GPU 沙箱和 HuggingFace Hub 上的任务，从头到尾完成一次有监督微调。但关键信息全卡在 Reddit 的 403 错误里——正文没披露一次完整 SFT 要跑多久、吃多少显存、最终模型效果有没有对比基准。这点先别太激动，因为 35B 的 MoE 模型虽然激活参数少，但调度沙箱和 Hub 任务本身也有开销，本地跑通和跑得好是两码事。还缺的是：这套流程能不能稳定复现，以及它比直接用云端 API 到底省了多少成本、延迟高了多少。

新智元 · 公众号5/14 13:05

田渊栋带队八人创业，估值 46.5 亿美元，要做能自己进化、自己搞研究的 AI

田渊栋和另外七位 AI 研究员一起创立了 Recursive Superintelligence，团队目前 25 人，拿了 6.5 亿美元融资，估值冲到 46.5 亿美元。他们想干的事是把模型评估、数据筛选、训练、后训练甚至研究方向选择这些环节全交给 AI 自己跑，让整个研发流程自动化。正文因为需要验证没加载出来，具体技术路线和验证结果还不清楚，所以这...

推荐理由：一家 25 人的公司，拿了 6.5 亿美元，估值冲到 46.5 亿美元，要做的事是让 AI 自己搞定评估、挑数据、训练、后训练甚至选研究课题——说白了就是让研究员自己卷自己。田渊栋带队，八人创始团，这个阵容和融资规模都不是常规操作。我会先打个折：正文没披露具体技术方案和验证结果，所以现在只能当一个大额押注来看，别急着激动。

锐评

田渊栋和另外七位研究员组了个25人的团队，公司叫Recursive Superintelligence，一口气融了6.5亿美元（约44亿人民币），估值冲到46.5亿美元。他们想干的事很直接：把模型评估、数据筛选、训练、后训练，甚至研究方向选择这些环节全交给AI自己跑，让整个研发流程自动化。

但问题在于，这篇报道的正文因为需要验证没加载出来，我们看不到任何技术细节或实验结果。团队到底是用什么架构让AI自己管自己的训练循环，有没有跑出比人工调参更好的模型，成本是多少，这些关键信息全是空白。6.5亿美元的融资额确实大，但光靠创始团队背景和愿景撑起46.5亿估值，在没有公开验证的情况下，更像是一场对“递归进化”概念的豪赌。

我会先打个折。田渊栋在Meta的强化学习和推理方向有实打实的积累，团队里还有Richard Socher这样的NLP老兵，人的底子不差。但“让AI自己搞研发”这个目标太大了，目前连一个跑通的demo都没看到。等他们放出第一个自动训练出来的模型再聊，现在只能当一条高额融资新闻看。

机器之心 · 公众号5/14 12:10

灵初智能用10万小时人类操作数据训练机器人，但文章正文被验证页挡住了

这篇微信文章标题说灵初智能（PsiBot）用了10万小时的人类操作数据来训练机器人策略，还提到一个叫W0的世界模型只在训练时做迁移，实际部署只跑R2。但页面被环境异常验证拦住了，正文内容完全看不到，没法确认具体怎么采集数据、在什么任务上验证、效果到底怎么样。

推荐理由：这篇讲的是灵初智能用10万小时人类操作数据训机器人策略，W0世界模型负责训练时的迁移，部署时只跑R2，省算力。我会先打个折：10万小时这个数字挺唬人，但正文没披露数据怎么采集、覆盖哪些任务、成功率多少，也没给论文或开源链接，所以只能当公司说法看。对从业者来说，W0训练期迁移、R2部署这个架构思路有参考价值，但缺验证就不好判断实际效果。整体像产品发布稿，不是可复现的研究，所以放在featured但分数没往上拉。

锐评

这条消息目前只能当个预告看。灵初智能说用了10万小时人类操作数据来训机器人策略，还提到一个叫W0的世界模型只在训练时做迁移，实际部署只跑R2——这个架构思路听起来是想把训练和推理拆开，降低部署成本。但关键信息全卡在微信的验证页后面，正文一个字都没露出来。

10万小时这个数字本身不算小，但得看采集的是什么场景、什么精度、有没有覆盖长尾情况。如果只是固定工位上的重复动作，那和真实世界的泛化要求差得远。W0只在训练时用、部署不跑，这个设计如果是真的挺省钱，但没看到延迟、成功率、跨任务迁移的数据，就没法判断实际效果。

现在还缺三样东西：一是具体任务和评测指标，二是数据采集的细节（遥操作还是动捕、单人还是多人），三是和现有路线的对比。等正文能看了再下判断。

机器之心 · 公众号5/14 12:10

阿里达摩院用信息瓶颈做自奖励，让模型做数学题时多试几条不同的路

阿里达摩院发了篇 ACL 2026 论文，提出 I²B-LPO，解决强化学习微调时模型解题思路越来越像的问题。做法是在模型生成答案时，碰到它犹豫不决的节点就分叉出多条路径，再用一个基于信息瓶颈的自奖励机制筛掉重复的、留下真正不一样的解法。论文在 Qwen2.5-7B 和 Qwen3-14B 上跑数学题，准确率最多提了 5.3%，答案的语义多样性提了 7...

推荐理由：我会先打个折：这还是一篇训练方法论文，不是新模型或产品发布，所以重要性给 78 合理。亮点在于它把 RLVR 的探索问题讲得很具体——不是泛泛说“多样性不足”，而是用高熵节点定位、分支采样、自奖励这套组合拳给出可操作的解法。数字也实在，准确率和多样性双涨，没有只挑好看的说。正文没披露训练成本和延迟数据，这点先别太激动。整体适合推荐给做推理微调的人看，不是那种看完就忘的刷榜文章。

锐评

这篇论文的核心思路挺直接：用强化学习微调模型做推理时，模型容易陷入“只会一种解法”的困境，生成一堆看起来不同但思路雷同的答案。达摩院的方案是在模型生成过程中，碰到它犹豫不决的节点就主动分叉出多条路径，再用一个基于信息瓶颈的自奖励机制筛掉重复的，留下真正不一样的解法。在 Qwen2.5-7B 和 Qwen3-14B 上跑数学题，准确率最多提了 5.3%，答案的语义多样性提了 7.4%。

不过要冷静看几个点。第一，正文因为微信环境验证问题没完全加载，具体的实验设置、基准测试名称、对比基线都没披露，5.3% 这个数字是在什么条件下拿到的说不清楚。第二，分叉加筛选会增加推理时的计算开销，论文有没有给出延迟或成本数据，目前看不到。第三，这个方法在非数学推理任务上效果如何，也没提。如果后续能补上这些信息，判断会更踏实。

5月13日星期三

AI HOT 精选5/13 14:19

商汤发 SenseNova-U1 技术报告，开源一个激活参数仅 30 亿的多模态模型

报告把训练一个原生多模态模型的全流程拆成了六步，从统一建模、无损接视觉信号，到用自回归加像素空间流匹配一起训，再到强化学习后训练和蒸馏，每一步都给了实操细节。开源版本 SenseNova-U1-A3B-MoT 用了混合专家架构，只激活 30 亿参数，主打跑得快、成本低。模型权重、代码和演示都放出来了，不过报告里没给具体 benchmark 对比，实际效...

推荐理由：我会先打个折：这是厂商自己发的技术报告，正文没给基准分数、开源协议和复现细节，所以别当第三方评测看。亮点在于把训练全流程讲清楚了——从数据配比、六阶段课程到 RL 后训练和蒸馏，每一步都给了操作说明。A3B-MoT 用 MoE 把激活参数压到 30 亿，推理时确实省钱，但报告没披露总参数量、专家数这些关键数字，也没说开源权重什么时候放出来。这点先别太激动，等代码和权重落地再判断。

锐评

这份技术报告的价值在于把“原生多模态模型怎么训”这件事拆成了可操作的六步，从统一建模、无损接视觉信号，到自回归加像素空间流匹配联合训练，再到强化学习后训练和蒸馏，每一步都给了实操细节，不是只讲理念。开源版本 SenseNova-U1-A3B-MoT 用了混合专家架构，只激活30亿参数，明确冲着低成本、低延迟去，对想自己部署试水的团队比较友好。

但报告最大的信息缺口是没给具体 benchmark 对比。正文只说了“高效快速”，没跟同尺寸模型或更大模型在标准评测集上拉过表，所以“高效”到底对应什么水平的性能，目前只能靠自己去跑。另外，强化学习后训练和蒸馏部分的具体奖励设计、数据配比也没展开，想复现还得等后续或自己补实验。我会先打个折：这是一份不错的工程路线图，但还不是一张能直接抄的满分答卷。

新智元 · 公众号5/13 12:06

清华系开源 MiniCPM-V 4.6：1.3B 多模态模型，一张 4090 就能全量微调

面壁智能、清华和 OpenBMB 放出了 MiniCPM-V 4.6，一个 13 亿参数的多模态模型。它最大的卖点是能在一张 RTX 4090 显卡上完成全量微调，不用再靠低秩适配这类折中方案。模型提供了两种视觉 token 压缩模式：4 倍压缩追求精度，16 倍压缩追求速度，让开发者自己按场景选。正文没披露具体的训练数据量和详细评测基准，这点先别太激...

推荐理由：HKR 三项都成立：一条具体的开源多模态模型发布，给了参数量、硬件条件和 token 压缩方案，把本地微调成本压到一张消费级显卡。不是前沿大厂的旗舰发布，但实用性强，82 分合理。

锐评

面壁智能和清华放出的 MiniCPM-V 4.6，核心卖点是把全量微调的门槛压到了一张 RTX 4090。以前小模型想省显存只能靠低秩适配这类折中方案，现在可以直接动全部参数，对开发者来说省事不少。模型给了两种视觉 token 压缩模式：4 倍保精度，16 倍追速度，等于把选择权交给用的人，按场景自己掂量。

不过正文没写训练数据量和具体评测基准，这就让“小钢炮”的成色打了折扣。没有数据规模和对比对象，很难判断它的能力上限在哪，也不知道在哪些任务上会翻车。另外，1.3B 参数在多模态任务里到底能扛住多复杂的场景，光靠一篇推送还看不出来。

还缺的是端侧实测和第三方复现结果。一张 4090 跑得动是一回事，换到手机或边缘设备上表现怎么样，功耗和延迟能不能接受，这些才是落地时要命的细节。

5月12日星期二

AI HOT 精选5/12 23:54

开放模型生态如何滚起雪球

作者 Nathan Lambert 从中国 AI 圈几乎全员开源的现状出发，聊了聊开放模型生态真正的省钱逻辑。核心判断是：造前沿模型的大头成本不在最终训练，而在研发试错，这部分算力开销可能占到 80%。中国各家实验室通过详细技术报告和刻意分享，相当于帮同行排了雷，避免重复烧钱做实验，形成了一种靠信息共享降低未来研发成本的复合增长。文章也指出，开源 AI...

推荐理由：这篇文章不是产品发布，而是一篇评论，核心观点是开源模型生态正在自我强化。我会先打个折：正文没披露下载量的绝对基数，200% 的环比增长到底是从 1 万涨到 3 万还是从 100 万涨到 300 万，差别很大，这点先别太激动。但它把开源模型的扩散、微调、再发布串成一个复合增长飞轮，这个框架比单纯报数字更有价值。对做模型选型和成本估算的从业者来说，这个趋势意味着国产开源模型的可用性在快速爬坡，值得关注。

锐评

Nathan Lambert 这篇文章把开源模型省钱这件事讲得比较实在。核心判断是：造一个顶尖模型，80%的算力都烧在研发试错上，而不是最后那一次完整训练。这个数字来自 Ai2 和 Epoch AI 的两份研究，虽然误差范围不小，但方向是对的。中国 AI 圈几乎全员开源，各家通过详细技术报告和刻意分享，相当于帮同行排了雷，避免重复踩坑烧钱，形成了一种靠信息共享降低未来研发成本的复合增长。

但文章也点出了开源 AI 和传统开源软件的根本区别：软件开源是用户越多修 bug 越便宜，而开源模型几乎全部成本都压在开发者身上。开放模型降低的是未来的研发成本，不是即插即用的产品价格。如果你只是拿来就用、不做深度定制，闭源的托管方案反而更便宜，因为人家靠规模效应摊薄了成本。

文章没展开讨论的一个缺口是：这种互相排雷的模式能持续多久。目前各家还是会 fork 开源工具做成内部版本，真正开放的 RL 训练方案（比如 MoE 架构的大规模强化学习）其实还没有公开的成熟配方。如果核心环节继续半开半闭，这个生态的省钱效应会打折扣。

Google DeepMind5/12 22:40

Google DeepMind 发布 Co-Scientist 多智能体科研系统

Google DeepMind 在 Nature 发表 Co-Scientist 研究，推出基于 Gemini 的多智能体 AI 系统，可迭代生成、辩论和演化复杂科学问题的新假设。

推荐理由：原文披露了多智能体系统的三阶段协作机制与多个实验室的落地案例，可了解 AI 参与科学假设生成的具体路径。

量子位 · 公众号5/12 11:55

上海 AI 实验室发现：有监督微调能跨领域泛化，但得满足三个条件

上海 AI 实验室、上海交大和中科大的团队拿 Qwen3-14B-Base 做长思维链的监督微调实验，发现模型在训练 8 轮后，跨领域的表现会先跌后涨，最终超过原始水平。他们总结出泛化要成立的三个条件：一是得把模型训得足够深，不能浅尝辄止；二是训练数据的质量和结构要过关；三是基座模型本身的能力得够强。正文没披露具体用了什么数据集，也没给出跨领域任务的具...

推荐理由：这篇论文的卖点很清晰：SFT 不是不能泛化，但得满足优化、数据结构和基模型能力三个条件。我会先打个折，因为目前只是 Reddit 上的一个帖子，没有看到论文全文或代码，没法验证他们说的 8 个 epoch 先降后升是不是稳定复现。不过这个发现对做开源微调的人确实有用，尤其是用 Qwen3-14B 这类模型时，怎么配长思维链数据、训多久，这篇至少给了一个可参考的曲线。HKR 三项都过得比较轻松，但因为没有独立复现和完整 benchmark，分数就停在 76，不往上拉了。

锐评

这篇研究最直接的信息是：用 Qwen3-14B-Base 做长思维链的监督微调，模型在训练 8 轮后跨领域表现会先跌后涨，最终超过原始水平。这推翻了“SFT 只能死记硬背”的刻板印象，但别急着下结论。

他们总结出泛化成立的三个条件：训练要足够深、数据质量和结构得过关、基座模型本身能力要强。听起来合理，但正文没披露具体用了什么数据集，也没说跨领域任务到底测了哪些。没有这些，很难判断这个结论的适用范围有多宽。比如，如果训练数据本身就是高质量、多领域的，那“泛化”可能只是数据覆盖面的功劳，而不是训练深度的魔法。

另外，8 轮这个数字值得留意。对很多团队来说，14B 模型跑 8 轮全量 SFT 成本不低，如果只是为了等那个“先跌后涨”的拐点，性价比得自己算。还缺消融实验，比如换个小模型或差一点的数据，这个规律还成立吗？

r/LocalLLaMA5/12 05:01

把 prompt 缓存用到强化学习训练里：长提示短回复场景下，Qwen3.5-4B 训练速度提升 7.5 倍

作者提出在强化学习训练时复用 prompt 缓存，专门针对那种提示很长、模型回复很短的任务。在 Qwen3.5-4B 上跑 16k token 提示、64 token 回复的例子，训练速度直接快了 7.5 倍。另一个 G=8 的例子更直观：1000 token 提示加 100 token 回复，原本要处理 8800 个 token，用这方法后实际只需处...

推荐理由：这是一篇 Reddit 帖子，作者把推理时常用的 prompt caching 思路搬到了 RL 训练里，在长提示短回答的场景下效果明显：Qwen3.5-4B 跑 16k 提示、64 输出 token 的任务，训练速度提了 7.5 倍。核心逻辑是 RL 训练时同一组 prompt 会被反复采样，把重复的 token 缓存起来不重复算，G=8 时实际要处理的 token 数从 8800 掉到 1800。这个数字说明去重效果确实好，但前提是 prompt 够长、回答够短，场景比较挑。正文没给代码或论文链接，也没有独立复现验证，所以分数先打个折，定在 78。

锐评

这条消息的核心卖点很直接：把推理时常用的 prompt 缓存思路搬到了强化学习训练里，专门吃那种提示巨长、模型只回几个字的场景。作者在 Qwen3.5-4B 上跑 16k token 提示配 64 token 回复，训练速度直接拉到 7.5 倍。另一个例子更直观，1000 token 提示加 100 token 回复，原本要处理 8800 个 token，用这方法后实际只处理 1800 个独立 token，省掉了大量重复计算。

但这里有个硬伤：Reddit 原文被网络屏蔽，我们拿到的只有摘要，看不到具体怎么实现缓存、对训练收敛有没有影响、是不是只对特定 RL 算法有效。7.5 倍这个数字是在单一模型和单一任务上测的，换别的模型或回复长度变长后还能剩多少加速，正文没披露。另外，缓存本身会吃显存，显存换时间的账怎么算也没提。

对做 RL 训练的人来说，这个方向值得跟，但先别急着改 pipeline。等原文解封或者作者放出代码和更完整的消融实验再说。

最新精选