# KV 缓存量化对模型伤害不大，权重量化才是大头：Qwen3.6 27B 的一次小测试

> 原标题：It's OK to quantize the KV cache. Model quant matters more. Some Qwen3.6 27B tests with (approximated) KLD

- 来源：r/LocalLLaMA
- 发布时间：2026-05-24T00:13:43.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/26326
- 原文：https://www.reddit.com/r/LocalLLaMA/comments/1tlwjsl/its_ok_to_quantize_the_kv_cache_model_quant/

## 摘要

Reddit 用户 hopbel 拿 Qwen3.6 27B 在 wikitext-2 上跑了一组 16k 上下文的近似 KLD 测试，想看看 KV 缓存量化和模型权重量化哪个更影响输出质量。他用 Q5_K_M 权重当基准，对比了两组配置：一组是 Q5_K_S 权重配 q4_0 的 KV 缓存，KLD 分数 0.016304。

## 推荐理由

Reddit 用户 hopbel 用 Qwen3.6 27B 在 wikitext-2 上做 16k 上下文近似 KLD 测试，对比 KV 缓存量化与权重量化对输出质量的影响，为本地部署的量化取舍提供一组一手数据。

## 锐评

本地部署的显存焦虑可以往 KV 缓存上挪一挪了。Q5_K_S 权重配 q4_0 的 KV，KLD 0.016304，比 Q4 权重配全精度 KV 还低，砍 KV 比砍权重划算。这只是 Qwen3.6 27B 在 wikitext-2 上 16k 上下文的近似 KLD，单模型单数据集，别当通用结论。真要压显存，先降 KV 精度，权重尽量留在 Q5 以上。
