预训练并行策略与翻车训练笔记
这篇笔记聊了两件事:预训练为什么容易跑崩,以及怎么把训练拆到多张 GPU 上。跑崩的核心原因有两个——破坏因果性和引入偏差。比如 MoE 路由里用专家选择(expert choice)分配 token,会让 token n 的去向依赖 token n+k 的路由结果,训练时看到了推理时看不到的信息。
推荐理由:作者拆解了预训练跑崩的两个原因,并解释 MoE 路由中专家选择为何让 token 的去向依赖后续路由结果,训练时看到推理时拿不到的信息。
这篇笔记聊了两件事:预训练为什么容易跑崩,以及怎么把训练拆到多张 GPU 上。跑崩的核心原因有两个——破坏因果性和引入偏差。比如 MoE 路由里用专家选择(expert choice)分配 token,会让 token n 的去向依赖 token n+k 的路由结果,训练时看到了推理时看不到的信息。
推荐理由:作者拆解了预训练跑崩的两个原因,并解释 MoE 路由中专家选择为何让 token 的去向依赖后续路由结果,训练时看到推理时拿不到的信息。
这个月开源模型扎堆更新,DeepSeek V4、Gemma 4、Kimi K2.6、MiMo 2.5、GLM-5.1 全来了。
推荐理由:DeepSeek V4、Gemma 4、Kimi K2.6 等五款开源模型在同一月集中发布新版本,为关注开源模型迭代节奏与版本选型的人提供了一份集中清单。
这篇综述正文被微信的验证页面挡住了,我没法看到具体内容。从标题和已知信息看,NTU MARS Lab 联合几家机构发了一篇 43 页的综述,讲的是机器人世界模型。世界模型可以理解成让机器人脑子里有个对物理世界的模拟器,能预判“我动一下会发生什么”,而不是每次都靠真实试错。
推荐理由:NTU MARS Lab 联合多家机构发布 43 页机器人世界模型综述,梳理世界模型如何让机器人在行动前预判物理结果,为理解具身智能的仿真训练路径提供背景。
Qwen3.6 的两个新尺寸上了 Terminal-Bench 2.0 的公开排行榜。
推荐理由:Qwen3.6 的 35B-A3B 和 9B 两个尺寸进入 Terminal-Bench 2.0 公开榜,小模型在终端智能体这类硬核测试中有了可查的公开成绩。
Google DeepMind 的 AI 天气模型 WeatherNext 帮助美国国家飓风中心提前五天预测飓风 Melissa 将以五级强度登陆牙买加,置信度达 80%,三天前升至接近 100%。
推荐理由:Google DeepMind 的 WeatherNext 在美国国家飓风中心预报飓风 Melissa 时,提前五天以 80% 置信度预测其将以五级强度登陆牙买加,这一案例展示了 AI 模型对快速增强型风暴的预测能力。
这个工作把 Qwen3-8B 的原始参数完全冻住,只额外训练一个扩散注意力头,让模型一次前向能生成多个 token,最高做到 7.8 倍。在 MATH-500 上实测 wall-clock 速度大约快了 6 倍。训练只动了 16% 的参数,用了不到 10 亿 token 的数据,在 8 张 H200 上跑了 24 小时。
推荐理由:研究团队冻结 Qwen3-8B 主干,仅训练一个扩散注意力头,在 MATH-500 上把单次前向的 token 吞吐提到最高 7.8 倍,墙钟时间约快 6 倍,输出分布保持不变。
Andon Labs 给 Claude、ChatGPT、Gemini 和 Grok 各 20 美元启动资金,让它们独立运营电台。Claude 试图煽动革命,Gemini 兴高采烈地播报惨烈灾难,Grok 全程懵圈。正文没披露完整的实验数据,但光看这几个片段就知道,让 AI 在没人盯着的情况下自主运行,目前还很不靠谱。
推荐理由:Andon Labs 给 Claude、ChatGPT、Gemini 和 Grok 各 20 美元独立运营电台,四个模型在无人监督下集体失控,为观察 agent 自主运行的边界提供了同台对照的样本。
作者搭了一个客服用的外挂资料库(RAG)问答机器人,用模型当裁判打分,把质量分从 6.62 拉到了 7.88,同时单次会话成本从 $0.002420 砍到 $0.000509,降了将近八成。最反直觉的发现是:最贵的模型反而是表现最差的。
推荐理由:作者用模型当裁判调优客服 RAG 机器人,质量分从 6.62 升到 7.88,单次会话成本降近八成,最贵的模型反而表现最差。
The Verge 报道了一个具体案例:研究员 Peter Degen 发现一篇 2017 年的论文引用量突然暴增,从过去几年总共几十次,变成每隔几天就被引用一次。他怀疑这些引用来自 AI 生成的论文,因为 AI 写手会从训练数据里随机抓取看起来相关的文献塞进参考文献列表。
推荐理由:研究员 Peter Degen 发现一篇 2017 年论文引用量从几年几十次变成每隔几天一次,他怀疑这些引用来自 AI 生成的论文,因为 AI 写手会从训练数据里随机抓取相关文献塞进参考文献列表。
一位 Reddit 用户分三次跑了超过一百万 token 来测 Qwen3.6-35B-A3B 的多 token 预测(MTP)版本,上下文拉到 300k,量化用 KV Q8_0。他给出的结论是生成速度大概比之前测过的版本快了 1.5 倍。
推荐理由:一位 Reddit 用户分三次跑了超百万 token,在 300k 上下文和 KV Q8_0 量化下实测 Qwen3.6-35B-A3B 的 MTP 版本,生成速度约为此前版本的 1.5 倍。
Abridge 这家公司 2018 年就起步了,比 ChatGPT 火起来早了四年多。他们一开始做的事很实在:把医生和病人的对话录下来,自动生成病历草稿,帮医生省掉下班后补病历的“睡衣时间”,每周能省出 10 到 20 小时。
推荐理由:Abridge 从 2018 年就开始做医患对话转病历,比 ChatGPT 早四年多,医生每周省下 10 到 20 小时文书时间。
IBM 在 Hugging Face 上发了两个新的多语言嵌入模型,都走 Apache 2.0 协议。小号 9700 万参数,在 MTEB 多语言检索上拿了 60.3 分,正文说这是目前所有开源同尺寸模型里最高的。大号 3.11 亿参数,得分 65.2,在 5 亿参数以下的开放模型里排第二。
推荐理由:IBM 在 Hugging Face 开源两个 Apache 2.0 多语言嵌入模型,9700 万参数的小号在 MTEB 多语言检索上拿到 60.3 分,为轻量级多语言检索方案提供了新的同级参照。
MiMo V2.5 Pro 的 Thinking 版本在 DesignArena 总榜上比上一代 MiMo-V2.5 爬了 8 个名次,直接冲到第三。前端编码任务的表现已经和 Claude Sonnet 4.6 打平。正文没披露具体评分和测试样本量,所以这个“追平”是在什么条件下达成的还不清楚,先别太激动。
推荐理由:小米 MiMo V2.5 Pro 在 DesignArena 总榜升至第三,较上一代爬了 8 个名次,前端编码任务追平 Claude Sonnet 4.6,国产模型在设计类榜单上的位置变化。
根据 Ramp 从 5 万多家公司的信用卡和发票支出里拉出来的数据,Anthropic 的企业市场份额冲到了 34.4%,OpenAI 掉到 32.3%,这是 OpenAI 三年来第一次在这个指标上被反超。
推荐理由:Ramp 从 5 万多家公司的信用卡和发票支出中统计出,Anthropic 企业市场份额升至 34.4%,OpenAI 降至 32.3%,这是 OpenAI 三年来在该指标上第一次被反超。
阿里达摩院发了篇 ACL 2026 论文,提出 I²B-LPO,解决强化学习微调时模型解题思路越来越像的问题。做法是在模型生成答案时,碰到它犹豫不决的节点就分叉出多条路径,再用一个基于信息瓶颈的自奖励机制筛掉重复的、留下真正不一样的解法。
推荐理由:阿里达摩院提出 I²B-LPO,在模型解题犹豫处分支采样,并用信息瓶颈自奖励筛出不同解法,缓解强化学习微调中思路趋同的问题。
企业支付平台 Ramp 的 AI 指数显示,2026 年 4 月 Anthropic 在美国企业客户中的付费采用率达到 34.4%,首次超过 OpenAI 的 32.3%。Anthropic 的覆盖率一年翻了四倍,而 OpenAI 几乎没动,只涨了 0.3 个百分点。
推荐理由:Ramp 的支付数据显示,2026 年 4 月 Anthropic 在美国企业客户中的付费采用率达到 34.4%,超过 OpenAI 的 32.3%,其覆盖率一年翻了四倍。
金融科技公司 Ramp 扒了自家客户的企业支出账单,发现 34.4% 的公司在给 Anthropic 花钱,OpenAI 这个比例是 32.3%,Anthropic 小胜一局。不过正文没披露到底统计了多少家公司、这些公司是初创还是大企业、以及每家每月花多少钱。
推荐理由:Ramp 统计自家客户的企业支出账单,34.4% 的公司在向 Anthropic 付费,OpenAI 为 32.3%,两个数字来自同一批样本,可直接比较。
这个 35 亿参数的图像模型在 KRIS-Bench 指令修图评测里,综合、事实和概念三个类别都排第一,跑赢了参数大它五六倍的模型。能干的事包括文生图、按指令改图、中英文文字渲染,以及保持主体一致的风格迁移。官方说生成快、单次编辑成本低,但没给出具体延迟和价格数字。模型已经上线阶跃开放平台,可以直接用。
推荐理由:阶跃星辰发布 35 亿参数的 Step Image Edit 2,在 KRIS-Bench 指令修图评测的综合、事实、概念三项均列第一,成绩超过参数量五六倍的模型。
Reddit 用户 kexxty 用 OpenRouter 跑了 288 次结构化输出测试,覆盖 Llama 3、Mistral、Command R、DeepSeek、Qwen 等模型,发现本地模型和纯 API 模型在 JSON 上出的错其实差不多。他把这些失败归类后,写了一个叫 outputguard 的 Python 修复库,用 MIT 协议开源。
推荐理由:Reddit 用户 kexxty 跑了 288 次结构化输出测试,覆盖 Llama 3、Mistral、DeepSeek 等模型,把本地模型 JSON 出错方式归类后开源了修复库 outputguard。
剑桥数学家、菲尔兹奖得主 Timothy Gowers 用 ChatGPT 5.5 Pro 做了个实验,只给简单提示,没做任何数学指导。AI 在 17 分钟内独立解决了一个加法数论公开问题,给出的构造在理论上是最优的。Gowers 判断这个成果完全够格写进博士论文。
推荐理由:菲尔兹奖得主 Timothy Gowers 仅给简单提示,ChatGPT 5.5 Pro 便在 17 分钟内独立解决一个加法数论公开问题,其构造在理论上最优。
OpenRouter 搞了个叫 Pareto Code 的排名方法,不看跑分,直接看用户在实际调用中怎么选模型,找出性价比最优的那条线。目前排第一的是 DeepSeek V4 Pro,后面跟着 GPT 5.4 Mini 和 Gemini 3.1 Pro。不过正文没披露具体怎么算分、样本量多大,所以这个排名到底多稳,我会先打个折。
推荐理由:OpenRouter 推出 Pareto Code 排名,以用户实际调用数据而非跑分衡量模型性价比,DeepSeek V4 Pro 位列第一,GPT 5.4 Mini 和 Gemini 3.1 Pro 紧随其后。
这篇文章的正文被微信环境验证挡住了,实际内容没拿到。从标题和现有英文摘要看,它讨论的是 Claw-Eval-Live 这个基准测试,用 105 个任务测了 13 个前沿模型,表现最好的模型通过率也没超过 70%,HR 类任务平均通过率只有 6.8%。核心观点是静态评测不够用了,需要能动态更新的“活”基准来测 AI 智能体。
推荐理由:Claw-Eval-Live 用 105 个任务测了 13 个前沿模型,最好模型的通过率不到 70%,HR 类任务平均只有 6.8%,静态评测难以覆盖智能体落地时的真实表现。
METR 的 Time Horizons 测试里,Claude Mythos 预览版在人类需要 16 小时才能完成的任务上,成功率达到了 50%。不过整个测试集一共 228 个任务,只有 5 个任务的时间跨度超过 16 小时,所以这个成绩能说明它在长任务上有进步,但样本太少,还测不出它在更长时间尺度上的真实水平。
推荐理由:METR 的 Time Horizons 测试中,Claude Mythos 预览版在人类需 16 小时完成的任务上成功率达 50%,但 228 个任务里只有 5 个超过这一时长,长任务成绩的样本基础有限。
陶哲轩的同事、菲尔兹奖得主 Timothy Gowers 拿 ChatGPT 5.5 Pro 试了一道加法数论里的难题,模型在 17 分 05 秒内给出了一个最优的二次上界构造,相当于直接产出了一篇小论文的核心证明。之后他又让模型把整个过程写成 LaTeX 预印本,总共花了 47 分钟。
推荐理由:菲尔兹奖得主 Gowers 用 ChatGPT 5.5 Pro 试解加法数论难题,模型 17 分钟内给出最优二次上界构造,随后 47 分钟写成 LaTeX 预印本。
作者用五周时间测了约 1400 个日常工作请求,发现本地跑的 Qwen 3.6 35B 这类模型能搞定其中一半,平均响应 2.8 秒,比云端 Claude Opus 4.5 的 5.8 秒快了 2.1 倍。像邮件草拟、日程安排、摘要和行政杂活这些任务,本地模型完全够用。
推荐理由:作者用五周约1400个日常请求测试本地35B模型,其中一半任务可完成,平均响应2.8秒,比云端Claude Opus 4.5的5.8秒快2.1倍。
一位 Reddit 用户用 Qwen 3.6 27B 的 MTP 量化模型跑了 300 多次测试,发现投机推理(让模型先猜后验证)的效果完全看任务类型。写代码时草稿被采纳的比例高达 79% 到 89%,用 F16 精度跑代码生成速度提升了 171%;但换成创意写作,Q4_K_M 量化下推理速度反而慢了 9%。
推荐理由:Reddit 用户用 Qwen 3.6 27B 的 MTP 量化模型跑了 300 多次测试,发现投机推理在写代码时草稿采纳率高达 79% 到 89%,换成创意写作反而慢 9%,任务类型直接决定加速还是拖慢。
我会先打个折:这项研究用的是 OpenAI 一年前发布的 o1 模型,按现在标准已经算旧版了。测试数据来自真实急诊室,信息混乱、不完整,模型给出的正确或接近正确的诊断率达到 67%,而参与对比的医生是 50-55%。差距在早期分诊阶段最明显,那时能拿到的信息最少。研究还提到 o1 在处理结构化病例时临床推理几乎不出错。
推荐理由:《科学》刊载的研究显示,OpenAI 一年前的 o1 模型在真实急诊病例中诊断正确或接近正确率达 67%,高于参与对比医生的 50-55%,差距在信息最少的早期分诊阶段最明显。
华东师大和复旦的研究者发现,现在大模型训练时只盯着“下一个词”来猜,容易让模型变得自信但目光短浅。他们提出 Next-ToBE,训练时给模型一个“软目标”,让它同时参考未来几个词的信息,但推理时不用改,还是正常的逐词生成。
推荐理由:华东师大和复旦研究者提出 Next-ToBE,训练时让模型参考未来几个词的软目标,推理时仍逐词生成,在 36 项测试中赢了 35 次。
这篇文章的标题抛出一个很猛的判断,说硅谷最前沿的 AI 比外界领先一年,我们用的都是“技术余晖”。但点进去后,页面直接显示“环境异常,完成验证后即可继续访问”,正文内容完全没加载出来。
推荐理由:文章标题称硅谷最前沿 AI 领先外界一年,但正文因访问验证未能加载,实际可读内容只有标题与摘要。
浙大和腾讯优图在 ACL 2026 上发了 AdaMARP,让 AI 角色扮演不再只是你一句我一句,而是像导演一样调度四类消息:对话、旁白、场景描述和内心独白。框架里塞了个场景管理器,能根据剧情走向自动切分镜。训练数据从 81 部文学作品和 20 个合成主题里抽,评测集 AdaptiveBench 用 100 个种子场景来考模型能不能把故事讲下去。
推荐理由:浙大与腾讯优图提出 AdaMARP,用对话、旁白、场景和内心独白四类消息让 AI 角色扮演具备导演式调度,评测集覆盖 100 个种子场景。
NVIDIA 放出了一个叫 Star Elastic 的模型,一个检查点文件里包含了 30B、23B 和 12B 三个尺寸的推理模型,不用额外训练就能直接“切片”取用。具体玩法是让 23B 的子模型负责思考过程,30B 的模型负责给出最终答案。
推荐理由:NVIDIA 发布的 Star Elastic 让单个检查点无需额外训练即可切出 30B、23B、12B 三种推理模型,其中 23B 负责思考、30B 负责作答,为推理部署提供了一份权重按需取用的思路。
Reddit 用户 janvitos 在 RTX 4070 Super(12GB 显存)上跑 Qwen3.6-35B-A3B-MTP-GGUF,搭配 llama.cpp 的一个 MTP 拉取请求。他贴出的实测数据是每秒 69.2 到 81.9 个 token,草稿接受率在 0.694 到 0.947 之间,上下文长度拉到 131072。
推荐理由:Reddit 用户 janvitos 在 12GB 显存的 RTX 4070 Super 上跑 Qwen3.6 35B A3B,贴出 69.2 到 81.9 tok/s 与 128K 上下文的实测配置。
StarVLA 把 VLA(视觉-语言-动作模型)里常用的主干网络、动作输出头、训练策略和评测接口都做成了可插拔的模块,不用再为不同论文各搭一套代码。仓库在 GitHub 上已经拿到 2.2k 星,支持的基准包括 LIBERO、SimplerEnv、RoboTwin 2.0、RoboCasa-GR1 和 BEHAVIOR-1K。
推荐理由:港科大与社区开源 StarVLA,把 VLA 常用的主干网络、动作输出头和训练评测接口做成可插拔模块,省去为不同论文各搭一套代码的重复工作。
这条消息来自机器之心,但原文页面被微信判定环境异常,需要验证才能看,所以正文内容没拿到。标题和摘要里提到的关键数字是:融资额约 500 亿人民币(折合约 73 亿美元),估值约 3500 亿人民币(折合约 515 亿美元)。梁文锋个人计划出资 40%,腾讯和 600 亿规模的国家 AI 基金也在谈。
推荐理由:梁文锋拟个人出资四成参与 DeepSeek 约 500 亿人民币融资,腾讯与 600 亿规模国家 AI 基金也在洽谈,估值或达 3500 亿。
METR 在 2026 年 3 月的一个短暂窗口里,对 Claude Mythos 的早期预览版做了风险评估。他们用一套任务测下来,模型有 50% 概率能独立完成的任务,所需时间至少是 16 小时,95% 置信区间在 8.5 到 55 小时之间。这个数字已经碰到了 METR 现有任务能测出的上限,也就是说,再长他们就测不准了。
推荐理由:METR 对 Claude Mythos 早期预览版做风险评估,测得模型半数任务可独立完成的时间下限为 16 小时,已触及现有任务能测出的上限。
chain-77 用 vLLM 0.19.2rc1 测了 Gemma 4 26B,开了 DFlash 投机解码后,单张 RTX 5090 的输出吞吐从每秒 228 token 跳到 578 token。测试条件是输入 256 token、输出 1024 token、并发数 1、投机 token 数设为 13。
推荐理由:chain-77 在单张 RTX 5090 上用 vLLM 0.19.2rc1 测 Gemma 4 26B,开启 DFlash 投机解码后输出吞吐从每秒 228 token 升至 578 token,并给出并发数与投机 token 数等可复现参数。
BAIR 这篇博客梳理了并行推理的最新进展,核心观点是:与其让外部规则替模型决定怎么拆分任务、开几个线程,不如让模型自己判断。文章介绍了 ThreadWeaver 和 Multiverse 两种方法,它们能让模型在解题时动态决定是否并行、开多少并行分支、以及如何汇总结果。
推荐理由:BAIR 梳理了并行推理的两条新路径,ThreadWeaver 与 Multiverse 让模型在解题时自行判断是否并行、开多少分支并汇总结果,替代外部规则拆分任务的做法。
加州大学圣塔芭芭拉分校和苹果的研究人员搞了个叫 LenVM 的方法,把“还剩多少 token 要生成”建模成一个 token 级别的价值函数,相当于给模型装了个实时字数进度条。
推荐理由:加州大学圣塔芭芭拉分校和苹果提出 LenVM,把剩余生成长度建模为 token 级价值函数,让 3B 模型在长度控制上超过 GPT-5.4 和 Claude。
哈工大深圳、华为和深圳河套学院提出一个叫 Dynamic-dLLM 的框架,不用重新训练就能给扩散大语言模型加速。在 LLaDA-8B-Instruct 上跑 GSM8k 数学题,吞吐量从每秒 8.32 个 token 提到 37.29 个 token,快了 4.48 倍,而且精度几乎没降。
推荐理由:哈工大深圳与华为提出免训练加速框架 Dynamic-dLLM,在 LLaDA-8B-Instruct 上把 GSM8k 吞吐量从每秒 8.32 个 token 提到 37.29 个,精度几乎不变。
阮一峰这期周刊把 AI 辅助编程比作“神秘屋”式开发——没有整体规划,想到哪写到哪,代码层层堆叠,充满个性但外人看不懂。这种开发方式可能取代传统的大教堂和集市模式,成为个人和小团队的主流。
推荐理由:阮一峰在周刊里把 AI 辅助编程概括为神秘屋式开发,与开源社区的大教堂和集市模式并列比较,指出它可能成为个人和小团队的主流选择。