# Reiner Pope 黑板讲座：大模型训练和推理背后的数学账本

> 原标题：Reiner Pope – The math behind how LLMs are trained and served

- 来源：Dwarkesh Patel 播客
- 发布时间：2026-04-29T17:07:03.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/13599
- 原文：https://www.dwarkesh.com/p/reiner-pope

## 摘要

Dwarkesh 把采访间改成了黑板教室，请来芯片公司 MatX 的 CEO Reiner Pope，用公式和粉笔把大模型从训练到服务的成本结构拆了一遍。讲座从批处理大小讲起：没有批处理，服务成本会直接差出 1000 倍，这也是为什么各家 API 定价和快速模式差价巨大的根源。接着讲了 MoE 模型怎么跨 GPU 机柜摆放、流水线并行如何把模型层切分到...

## 推荐理由

这是一堂黑板课，不是新闻事件，所以分数没往上拉。但内容确实扎实：Pope 把训练和推理里几个关键的成本开关——尤其是批处理对经济性的影响——用数字讲清楚了。我会先打个折，因为正文没给具体实验数据，更多是经验推演，但“1000 倍”这个量级足够让人重新审视自己的服务设计。

## 锐评

Dwarkesh 这次把采访间改成了黑板教室，请来芯片公司 MatX 的 CEO Reiner Pope，用公式和粉笔把大模型从训练到服务的成本结构拆了一遍。讲座从批处理大小讲起：没有批处理，服务成本会直接差出 1000 倍，这也是为什么各家 API 定价和快速模式差价巨大的根源。接着讲了 MoE 模型怎么跨 GPU 机柜摆放、流水线并行如何把模型层切分到不同机柜，以及 Ilya 那句“流水线不聪明”背后的数学原因。

信息量很大，但来源限制也明显：这是单人讲座，不是经过同行评议的论文，很多推算是基于公开 API 价格反推的，正文没披露 MatX 芯片的具体规格和实测数据。Reiner 提到因为强化学习，模型可能比 Chinchilla 最优训练量多训了 100 倍，这个判断目前还缺大规模验证。

还缺什么：没有给出不同规模模型的具体成本对比表，也没讨论这些成本结构在不同云厂商之间的差异。如果你关心的是自家业务该选快模式还是慢模式，这篇能给你一个判断框架，但具体数字得拿自己的场景去套。