# 预训练并行策略与翻车训练笔记

> 原标题：Notes on pretraining parallelisms and failed training runs.

- 来源：Dwarkesh Patel 播客
- 发布时间：2026-05-16T19:01:16.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/22454
- 原文：https://www.dwarkesh.com/p/notes-on-pretraining-parallelisms

## 摘要

这篇笔记聊了两件事：预训练为什么容易跑崩，以及怎么把训练拆到多张 GPU 上。跑崩的核心原因有两个——破坏因果性和引入偏差。比如 MoE 路由里用专家选择（expert choice）分配 token，会让 token n 的去向依赖 token n+k 的路由结果，训练时看到了推理时看不到的信息。

## 推荐理由

作者拆解了预训练跑崩的两个原因，并解释 MoE 路由中专家选择为何让 token 的去向依赖后续路由结果，训练时看到推理时拿不到的信息。

## 锐评

expert choice 破坏因果性这个坑，做 MoE 的应该都踩过。token n 的去向要看 n+k 的路由结果，训练时提前看到了推理时拿不到的信息，loss 掉得漂亮，上线就露馅。这类问题最烦的地方是它不报错，指标一路正常，你根本不知道哪里错了。FP16 累加一万次偏掉也是同一个性质。这篇是经验交换不是实验报告，但 6ND、288GB 这些数拿来估成本和排故障够用，先记着。
