跳到正文
Latent Space

推理工程大师课:Baseten 的 Philip Kiely 和 Ali Taha 聊怎么让模型跑得又快又省钱

The Inference Engineering Masterclass — Philip Kiely & Ali Taha, Baseten

Baseten 刚融了 130 亿美元,Philip 和 Ali 在这期播客里把推理工程拆开讲透了。他们聊了量化、投机解码、KV 缓存搬运、以及把预填充和解码拆开跑这些技术。一个 GLM-5.2 的实验发现,多量化几层反而让基准测试质量没掉,吞吐还涨了 20%,因为不同层引入的误差会互相抵消。

推荐理由:Baseten 的 Philip Kiely 和 Ali Taha 在播客中拆解量化、投机解码与 KV 缓存搬运,其中 GLM-5.2 实验显示多层量化后基准质量未降、吞吐提升 20%。

读原文 ↗导出 Markdown