跳到正文

数据与训练

训练侧的门道:数据集构建、合成数据、预训练与后训练方法、算力与训练成本。

最新精选

第 81–100 条 · 共 173 条

6月3日星期三

The Verge · AI

英国裁定:谷歌必须让网站主能拒绝内容被 AI 搜索功能抓取

英国竞争与市场管理局(CMA)对谷歌提出新要求:网站主现在可以把自己的内容从 AI 搜索概览(AI Overviews)这类功能里撤出来,也能禁止谷歌拿这些内容去微调自己的 AI 模型。说白了,就是给了内容方一个“别用我的东西训练你”的选项。不过正文没披露这个退出机制具体怎么操作、是统一开关还是按功能细拆,也没说谷歌需要在多长时间内落实。

推荐理由:英国竞争与市场管理局要求谷歌允许网站主将内容从 AI 搜索概览中撤出,并禁止用于微调其 AI 模型,内容方由此获得对训练数据用途的选择权。

机器之心 · 公众号

大模型 SFT 的算力浪费有救了:同质化数据训练几百步就该停,新方法能提前揪出过拟合

这篇文章正文被微信环境验证挡住了,看不到具体内容。从标题和已有的英文摘要看,Junpeng Zhang 他们发现,用高度同质化的数据做 SFT 时,有效训练窗口其实很短,大概几百到一千步左右。他们搞了一个基于交互信号的预警方法,能在 loss 差距还没拉大之前就检测到过拟合,据称能省下 30% 到 50% 的训练算力。

推荐理由:Junpeng Zhang 等人发现同质化数据做 SFT 的有效训练窗口只有几百到一千步,并提出基于交互信号的预警方法,在 loss 差距拉大前检测过拟合,据称可省下 30% 到 50% 的训练算力。

6月2日星期二

r/LocalLLaMA

我花了几个月钻进 verl 的 RL 训练框架,最后还是放弃了:内部机制、维护分支的代价,还有一个 NCCL 的坑

作者深入研究了字节跳动的 verl(一个做 RLHF 强化学习微调的开源框架),把它的核心流程拆了一遍:DataProto 数据协议怎么走,模型怎么生成回答(rollout),怎么打分(reward),怎么算优势函数(advantage),最后怎么更新模型。

推荐理由:作者拆解了 verl 的 RLHF 训练流程,从 DataProto 数据协议到 rollout、reward、优势计算与模型更新,并记录了维护分支的代价和一处 NCCL 问题。

AI HOT 精选

NVIDIA Cosmos 3 在开放权重模型里拿了图像和视频生成双料第一

NVIDIA 的 Cosmos 3 在 Artificial Analysis 的开放权重榜单上,文本生图和图片转视频两项都排到了第一。它用了一种叫 Mixture-of-Transformers 的架构,把自回归推理器和扩散生成器拼在一起,有 16B 参数的 Nano 版和 64B 参数的 Super 版。

推荐理由:NVIDIA 的 Cosmos 3 在 Artificial Analysis 开放权重榜单上同时拿下文本生图和图片转视频第一,其 Mixture-of-Transformers 架构把自回归推理器与扩散生成器组合在一起。

6月1日星期一

AI HOT 精选

OpenBMB 放出两个开源数据集,预训练语料和 SFT 样本都给了,HuggingFace 趋势榜第一

OpenBMB 跟清华 NLP、Modelbest 一起发了两个数据集,都挂在 HuggingFace 上。一个是 Ultra-FineWeb-L3,给预训练用的合成数据,总量超过 600B token,其中英文 400B+、中文 200B+,是目前最大的开源中文预训练合成数据集。

推荐理由:OpenBMB 联合清华 NLP 与 Modelbest 开源 Ultra-FineWeb-L3 等两个数据集,其中文预训练合成数据超 200B token,为中文预训练和指令微调补充了可直接取用的语料与样本。

r/LocalLLaMA

我在一张 RTX 3060 上给冻结的 1.4B Mamba 主干挂了 8 个推理专家臂,这是拆解报告

作者用一张 12GB 显存的 RTX 3060 训练了一个叫 Mamba-Titan-1.4B-Reasoning 的模型。做法是把一个 1.4B 参数的 Mamba-1 主干完全冻结,只在第 24、25 层外挂了 8 个可训练的专家臂,组成一个总参数量 2.54B 的混合专家模型,每次推理只激活其中 2 个专家。数学题准确率大概做到 50%。

推荐理由:作者在单张 RTX 3060 上冻结 1.4B 的 Mamba 主干,只在第 24、25 层外挂 8 个可训练专家臂,把总参数做到 2.54B,每次推理只激活 2 个专家,数学题准确率约 50%。

5月31日星期日

量子位 · 公众号

复旦和通义搞了个 ToolCUA,专门教 Agent 在屏幕上选对工具

现在给 Agent 塞一堆工具,它经常不知道该点哪个。复旦和通义实验室提出了一套叫 ToolCUA 的训练方法,核心是用约 4000 个合成工具和 18 万步的“屏幕操作+工具调用”交叉轨迹来训练模型。他们训出来的 ToolCUA-8B 在 OSWorld-MCP 基准上跑到了 46.85% 的准确率。

推荐理由:复旦与通义实验室提出 ToolCUA 训练方法,用约 4000 个合成工具和 18 万步交叉轨迹教 Agent 在屏幕上选对工具,其 8B 模型在 OSWorld-MCP 基准上达到 46.85% 准确率。

5月30日星期六

机器之心 · 公众号

港中文新优化器 Pion 在“等谱流形”上更新大模型,解决 AdamW 和 Muon 训练崩溃问题

香港中文大学等团队搞了个新优化器叫 Pion,核心思路是不动权重矩阵的奇异值,只在“等谱流形”上做正交等价变换来更新参数。他们拿一个 6000 万参数、没用归一化层的类 LLaMA 模型试跑,Pion 稳定训练了 96 亿个 token,而 AdamW 和 Muon 都崩出 NaN 了。

推荐理由:香港中文大学团队提出优化器 Pion,保持权重矩阵奇异值不变、仅在等谱流形上做正交变换更新参数,在 6000 万参数无归一化模型上稳定训练 96 亿 token,而 AdamW 和 Muon 均出现 NaN。

5月29日星期五

AI HOT 精选

Adam's Law:用模型训练时见过的高频词写提示,效果更好

FaceMind 团队在 100 种语言和四类核心任务上做了实验,结论很简单:保持意思不变,把提示词或微调文本换成预训练语料里出现频率更高的说法,大模型的表现会明显提升。他们把这个规律叫 Adam's Law(文本频率定律),相当于给数据工程补上了“频率”这个维度。原理不复杂——高频表达让模型在自己最熟悉的概率空间里干活,输出质量自然更稳。

推荐理由:FaceMind 团队在 100 种语言和四类任务上验证,把提示词换成预训练语料中的高频说法能提升大模型表现,为提示词写法提供了一个频率维度的思路。

机器之心 · 公众号

马嘉祺让大模型翻车,背后是低频词退化问题,有人一年前洗澡时就发现了

文章页面被微信环境验证挡住了,正文内容没拿到。从现有标题和英文摘要看,讲的是 FaceMind 团队把大模型在“马嘉祺”这类低频词上翻车的现象,和两篇论文串了起来:一篇是 EMNLP 2025 的 SLoW,另一篇是刚被 ACL 2026 接收为 Oral 的 Adam's Law。

推荐理由:FaceMind 团队把大模型在低频词上翻车的现象与 SLoW、Adam's Law 两篇论文串起来,梳理了低频 token 退化的机制解释。

5月28日星期四

量子位 · 公众号

DeepSeek V4 用上华为昇腾芯片做训练,国产算力生态开始跑通闭环

这篇文章本身因为微信环境验证失败,正文内容没抓到,只能根据标题和摘要信息来聊。标题里提到的“芯模协同”,指的是 DeepSeek V4 在训练时直接跟华为昇腾芯片做适配优化,不是先拿英伟达跑完再移植。摘要里说 CANN(华为的 AI 计算框架)一口气开源了 65 个代码仓库,并且支持 70 多个主流模型“开箱即用”,不用等适配。

推荐理由:DeepSeek V4 在训练阶段直接与华为昇腾芯片做适配优化,CANN 开源 65 个代码仓库并支持 70 多个主流模型开箱即用,国产算力从芯片到框架再到模型的协同路径有了具体进展。

机器之心 · 公众号

国产预训练具身大模型 Wall-OSS-0.5 开源,宣称跳过微调也能直接干活

X Square Robot 开源了一个叫 Wall-OSS-0.5 的视觉-语言-动作模型,主打“预训练完就能用”。他们放出了 40 万步的预训练 checkpoint,在 17 个真实机器人零样本任务里,有 4 个成功率超过 80%。这次开源的东西挺全:权重、代码、训练配方、消融实验,还有一个叫 DMuon 的优化器实现。

推荐理由:X Square Robot 开源视觉-语言-动作模型 Wall-OSS-0.5,放出 40 万步预训练 checkpoint,在 17 个真机零样本任务中 4 个成功率超 80%,并附权重、代码与训练配方。

AI HOT 精选

英伟达开源 Polar 框架,不改代码就能让 Codex 跑分涨近 6 倍

英伟达搞了个叫 Polar 的开源框架,专门解决一个实际问题:怎么在不重写 Codex、Claude Code 这些现成代码工具的前提下,用强化学习(GRPO,一种让模型在多步任务里根据奖励信号自己学会更优操作的训练方法)去训练它们。

推荐理由:英伟达开源 Polar 框架,让 Codex 无需重写代码即可用强化学习训练,为现成代码工具的能力提升提供了一条可迁移的路径。

r/LocalLLaMA

有人整理了一份1030亿token的Usenet语料,覆盖1980到2013年,全是真人发言、没有AI污染

一个叫OwnerByDane的用户放出了一套从Usenet新闻组扒下来的语料,总规模1031亿token,包含4.08亿条帖子,横跨18347个新闻组,时间从1980年一直拉到2013年。这套数据最大的卖点是“前互联网时代、纯人类产出、零AI生成内容”,对想避开模型训练数据被AI输出污染的开发者来说,算是个稀缺资源。

推荐理由:这套语料含1031亿token、4.08亿条帖子,时间跨度从1980年到2013年,全部来自Usenet真人发言,为需要避开AI生成内容的研究者提供了前互联网时代的原始文本。

5月27日星期三

机器之心 · 公众号

AMD 论文发现 FP4 训练不稳,锅不在随机性不够

AMD 和宾州州立大学用 MI355X 原生 FP4 硬件预训练了 Llama 3.1-8B,端到端速度比 FP8 基线快了 9-10%。但论文指出,Wgrad(权重梯度)量化是拖后腿的环节,导致每个 token 的计算开销额外增加 26-27%,而且用确定性 Hadamard 方法也稳不住。正文没披露最终模型的验证集效果对比,这点先别太激动。

推荐理由:AMD 与宾州州立大学在 MI355X 上用原生 FP4 预训练 Llama 3.1-8B,端到端比 FP8 基线快 9-10%,但权重梯度量化让每 token 开销多出 26-27%。

AI HOT 精选

面壁智能开源 ForgeTrain,一个完全由 AI 写出来的模型训练框架,零人类代码

面壁智能、清华和 OpenBMB 开源了 ForgeTrain,一个完全由 AI 编写、没有人类代码介入的大模型训练框架。他们用这套框架在华为昇腾芯片上预训练了 MiniCPM5-1B,这个模型在 AA 榜单的 2B 参数以下级别里排到了第一。同时开源的还有制造 ForgeTrain 的 Agent Harness 工具链。

推荐理由:面壁智能联合清华和 OpenBMB 开源了完全由 AI 编写的大模型训练框架 ForgeTrain,并已用它在华为昇腾芯片上完成 MiniCPM5-1B 预训练,可了解训练流程自动化的具体路径。

AI HOT 精选

TRL 新增增量权重同步:只传模型变化的部分,每步传输量从 1.2GB 降到 20-35MB

异步强化学习训练有个很现实的问题:每一步训练器都得把整个模型发给推理引擎。一个 7B 模型用 bf16 格式就要传 14GB,换成万亿参数模型更是要传 TB 级别的数据。Hugging Face 团队发现,在两次优化步骤之间,大约 99% 的 bf16 权重其实完全没变,真正变动的部分很小。

推荐理由:Hugging Face 在 TRL 中实现增量权重同步,只传两次优化间变动的权重,Qwen3-0.6B 单步载荷从 1.2GB 降至 20 至 35MB,为分布式训练的通信开销提供了一种压缩思路。

5月26日星期二

AI HOT 精选

商汤把 SenseNova-U1 的训练代码全开源了,一个框架同时训生图、修图、交错生成和理解

OpenSenseNova 在 GitHub 上放出了 SenseNova-U1 的完整训练代码,用 Apache-2.0 协议。代码覆盖了 8B 稠密模型和 A3B MoE(混合专家)架构,在一个统一框架里支持四种多模态任务:文生图、图片编辑、图文交错生成,以及文本与视觉理解。

推荐理由:商汤在 GitHub 以 Apache-2.0 协议开源 SenseNova-U1 完整训练代码,覆盖 8B 稠密与 A3B MoE 两种规格,一个框架同时支持文生图、图片编辑、图文交错生成和理解四类任务。

机器之心 · 公众号

xAI 解散但 Grok 没停,马斯克预告新模型

马斯克说,1.5 万亿参数的 Grok V9-Medium 已经训完了,过几天开始做强化学习,计划两到三周后发布。Grok Build 现在支持同时跑 8 个子代理,上下文窗口拉到 25.6 万 token,还加了计划模式、竞技场模式、MCP 和 ACP。不过正文因为微信环境验证失败,具体技术细节和评测数据都没披露,这些功能实际效果怎么样还得等实测。

推荐理由:马斯克称1.5万亿参数的Grok V9-Medium已训完,计划两到三周后发布,Grok Build同步支持8个子代理和25.6万token上下文,模型竞赛的下一轮节奏由此可循。

r/LocalLLaMA

一位律师用 12 块 V100 显卡搭本地集群跑法律文书起草,Qwen3.5-122B 模型跑到约 50 token/秒

Reddit 上一位律师分享了自己用 12 块 32GB 显存的 SXM V100 显卡搭建本地 AI 集群的进展,专门用来起草法律文书。核心模型是 Qwen3.5-122B-A10B,在 4 块 V100 上推理速度大约 50 token/秒。

推荐理由:一位律师用 12 块 32GB 显存的 V100 搭建本地集群,在 4 块卡上以约 50 token/秒运行 Qwen3.5-122B 起草法律文书,展示了大模型本地部署在专业场景的可行配置。