# 这篇论文主张：输入处理用低精度加速，输出生成用高精度保质量

> 原标题：Interesting paper advocates for quantized prefilling and precise decoding

- 来源：r/LocalLLaMA
- 发布时间：2026-05-21T19:42:48.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/25397
- 原文：https://www.reddit.com/r/LocalLLaMA/comments/1tjvl4h/interesting_paper_advocates_for_quantized/

## 摘要

论文 arXiv 2605.20315 提出一个混合精度策略：在预填充阶段用 W4A4 量化，理论上能把输入处理速度提升 4 倍；但解码阶段仍用原始高精度，因为激活值的量化误差会扰动采样出的 token，并在自回归生成中逐步累积，导致输出质量下降。

## 推荐理由

论文提出预填充阶段用 W4A4 量化、解码阶段保留高精度，理论上输入处理可提速 4 倍，同时避免激活量化误差在自回归生成中累积影响输出质量。

## 锐评

预填充用 W4A4、解码切回高精度，这个分法是对的，因为误差在自回归里会滚雪球，省错地方就是拿输出质量换速度。但论文只给了 4 倍这个理论增益，实测吞吐、困惑度、硬件环境一个没有，4 倍我是不信的。真跑起来预填充本来就只占一小段，端到端能快多少得看输入输出比例，长 prompt 的场景才吃得到。这个方向我认，数字等实测。
