# 推理工程大师课：Baseten 的 Philip Kiely 和 Ali Taha 聊怎么让模型跑得又快又省钱

> 原标题：The Inference Engineering Masterclass — Philip Kiely & Ali Taha, Baseten

- 来源：Latent Space
- 发布时间：2026-08-03T21:44:03.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/49791
- 原文：https://www.latent.space/p/inference-eng

## 摘要

Baseten 刚融了 130 亿美元，Philip 和 Ali 在这期播客里把推理工程拆开讲透了。他们聊了量化、投机解码、KV 缓存搬运、以及把预填充和解码拆开跑这些技术。一个 GLM-5.2 的实验发现，多量化几层反而让基准测试质量没掉，吞吐还涨了 20%，因为不同层引入的误差会互相抵消。

## 推荐理由

Baseten 的 Philip Kiely 和 Ali Taha 在播客中拆解量化、投机解码与 KV 缓存搬运，其中 GLM-5.2 实验显示多层量化后基准质量未降、吞吐提升 20%。

## 锐评

量化多几层质量不掉、吞吐还涨 20%，这个结论比融资金额有意思。误差互相抵消听着像玄学，真跑过量化的人知道逐层敏感度差很多，一刀切容易踩到最脆的那几层。Baseten 融 130 亿美元这个量级，市场赌的是推理成本还能再压一档。我的判断是量化配置以后会像 prompt 一样按模型单独调，通用 recipe 的价值在下降。
