KV 缓存量化对模型伤害不大，权重量化才是大头：Qwen3.6 27B 的一次小测试

It's OK to quantize the KV cache. Model quant matters more. Some Qwen3.6 27B tests with (approximated) KLD

Reddit 用户 hopbel 拿 Qwen3.6 27B 在 wikitext-2 上跑了一组 16k 上下文的近似 KLD 测试，想看看 KV 缓存量化和模型权重量化哪个更影响输出质量。他用 Q5_K_M 权重当基准，对比了两组配置：一组是 Q5_K_S 权重配 q4_0 的 KV 缓存，KLD 分数 0.016304；另一组是 Q4_K_XL ...

推荐理由：这篇 Reddit 帖子自己跑了一组对比实验，结论挺直接：KV 缓存量化带来的质量损失没那么可怕，模型本身的量化等级才是大头。数据给得清楚，Q5 模型加低精度 KV 缓存，KLD 反而比 Q4 模型加全精度 KV 缓存更低。我会先打个折，这只是一个模型在 wikitext-2 上的近似 KLD，不是严格消融实验，但作为一手测试，对玩本地部署的人有参考价值。正文没披露推理速度或显存占用的具体数字，这点比较可惜。