Why Is Speculative Decoding Fast?

投机解码之所以快，并非因为每个token的计算量更少——相同序列下总FLOPs反而更高，而是因为它把GPU从逐token解码时的内存受限状态转为计算受限状态，用闲置算力换取速度。在batch size远小于最优token数时，投机解码能利用"免费"算力加速；但batch较大时反而浪费算力，因此vLLM提供--speculative-disable-by-batch-size参数可关闭该功能。