这篇论文主张:输入处理用低精度加速,输出生成用高精度保质量
Interesting paper advocates for quantized prefilling and precise decoding
论文 arXiv 2605.20315 提出一个混合精度策略:在预填充阶段用 W4A4 量化,理论上能把输入处理速度提升 4 倍;但解码阶段仍用原始高精度,因为激活值的量化误差会扰动采样出的 token,并在自回归生成中逐步累积,导致输出质量下降。
推荐理由:论文提出预填充阶段用 W4A4 量化、解码阶段保留高精度,理论上输入处理可提速 4 倍,同时避免激活量化误差在自回归生成中累积影响输出质量。