# KV 缓存量化实测：TurboQuant 被高估，q5 值得多看两眼，对称 q8 可能白占显存

> 原标题：Here are my KV cache quantization benchmarks: TurboQuant is overrated but saved by TCQ, q5 deserves more attention, and symmetric q8 might be a waste of VRAM

- 来源：r/LocalLLaMA
- 发布时间：2026-05-19T17:37:34.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/23735
- 原文：https://www.reddit.com/r/LocalLLaMA/comments/1thu6os/here_are_my_kv_cache_quantization_benchmarks/

## 摘要

Anbeeld 用一张 RTX 3090 跑 Qwen 3.6 27B，在 64k 和 128k 上下文长度下测了 KV 缓存量化。先说结论：q4_0 在尾部 token 上的 KLD 比 q5_0 差了 32%，精度掉得明显；turbo4 比普通 q4_0 还慢 17%，显存却没省下多少，有点名不副实。

## 推荐理由

Anbeeld 在 RTX 3090 上测 Qwen 3.6 27B 的 KV 缓存量化，给出 q4_0 尾部 KLD 比 q5_0 差 32%、turbo4 比 q4_0 慢 17% 等具体数字。

## 锐评

q4_0 在尾部 token 上比 q5_0 差 32%，这个差距够大，长上下文场景我宁愿多占点显存上 q5。turbo4 比普通 q4_0 还慢 17%，显存又没省多少，这种优化不知道优化了什么。对称 q8 白占显存这条也实在，很多人图省事直接上 q8，其实收益早就不值那点空间了。只有一张 3090 一个模型，结论别直接套自己机器，但方向可以信。
