# 投机解码为什么快？关键在GPU工作类型而非计算量

> 原标题：Why Is Speculative Decoding Fast?

- 来源：Hacker News 首页
- 发布时间：2026-10-19T13:53:41.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/b9plrkzzhbysjq6fj3nvwqhii
- 原文：https://jbarrow.ai/2026-10-08-why-is-speculative-decoding-fast/

## 摘要

投机解码之所以快，并非因为每个token的计算量更少——相同序列下总FLOPs反而更高，而是因为它把GPU从逐token解码时的内存受限状态转为计算受限状态，用闲置算力换取速度。在batch size远小于最优token数时，投机解码能利用"免费"算力加速；但batch较大时反而浪费算力，因此vLLM提供--speculative-disable-by-batch-size参数可关闭该功能。