KV 缓存量化对模型伤害不大,权重量化才是大头:Qwen3.6 27B 的一次小测试
It's OK to quantize the KV cache. Model quant matters more. Some Qwen3.6 27B tests with (approximated) KLD
Reddit 用户 hopbel 拿 Qwen3.6 27B 在 wikitext-2 上跑了一组 16k 上下文的近似 KLD 测试,想看看 KV 缓存量化和模型权重量化哪个更影响输出质量。他用 Q5_K_M 权重当基准,对比了两组配置:一组是 Q5_K_S 权重配 q4_0 的 KV 缓存,KLD 分数 0.016304。
推荐理由:Reddit 用户 hopbel 用 Qwen3.6 27B 在 wikitext-2 上做 16k 上下文近似 KLD 测试,对比 KV 缓存量化与权重量化对输出质量的影响,为本地部署的量化取舍提供一组一手数据。