Reiner Pope 黑板讲座:大模型训练和推理背后的数学账本
Reiner Pope – The math behind how LLMs are trained and served
Dwarkesh 把采访间改成了黑板教室,请来芯片公司 MatX 的 CEO Reiner Pope,用公式和粉笔把大模型从训练到服务的成本结构拆了一遍。讲座从批处理大小讲起:没有批处理,服务成本会直接差出 1000 倍,这也是为什么各家 API 定价和快速模式差价巨大的根源。
推荐理由:MatX 的 CEO Reiner Pope 用公式和粉笔拆解大模型从训练到服务的成本结构,其中批处理对服务经济性的影响达到 1000 倍量级。