Reiner Pope 黑板讲座：大模型训练和推理背后的数学账本

Reiner Pope – The math behind how LLMs are trained and served

Dwarkesh 把采访间改成了黑板教室，请来芯片公司 MatX 的 CEO Reiner Pope，用公式和粉笔把大模型从训练到服务的成本结构拆了一遍。讲座从批处理大小讲起：没有批处理，服务成本会直接差出 1000 倍，这也是为什么各家 API 定价和快速模式差价巨大的根源。接着讲了 MoE 模型怎么跨 GPU 机柜摆放、流水线并行如何把模型层切分到...

推荐理由：这是一堂黑板课，不是新闻事件，所以分数没往上拉。但内容确实扎实：Pope 把训练和推理里几个关键的成本开关——尤其是批处理对经济性的影响——用数字讲清楚了。我会先打个折，因为正文没给具体实验数据，更多是经验推演，但“1000 倍”这个量级足够让人重新审视自己的服务设计。