# RTX 5090 跑 Qwen3.6-27B 实测：DFlash 投机解码加 KV 缓存压缩，速度提到 3.26 倍

> 原标题：[Benchmark] DFlash Speculative Decoding + KV Cache Compression on RTX 5090 — 3.26x Speedup

- 来源：r/LocalLLaMA
- 发布时间：2026-06-08T11:59:50.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/35585
- 原文：https://www.reddit.com/r/LocalLLaMA/comments/1u05t6u/benchmark_dflash_speculative_decoding_kv_cache/

## 摘要

作者在单张 RTX 5090 上跑了 Qwen3.6-27B，用 DFlash 做投机解码（让一个小模型先猜答案，大模型再核对，省时间），同时压缩 KV 缓存（把模型记住的上下文瘦身，省显存）。结果最高提速到 3.26 倍。用 q4_0/turbo4 量化时速度是原来的 3.18 倍，WikiText-2 上的困惑度只涨了 0.02%，基本没掉精度。

## 推荐理由

作者在单张 RTX 5090 上把 DFlash 投机解码与 KV 缓存压缩组合用于 Qwen3.6-27B，最高提速 3.26 倍，q4_0 量化下困惑度仅涨 0.02%。

## 锐评

3.26 倍这个数挺唬人，我盯的是困惑度只涨 0.02%。投机解码加 KV 压缩这套组合拳，以前最怕精度掉一截，q4_0 量化下几乎无损，本地跑 27B 的性价比又抬了一档。单张 5090 能到这个速度，对不想租卡的人是个实在参考。来源就一个 Reddit 帖子，没有第三方复现，数字先当上限看。想抄的话 DFlash 和 turbo4 的版本组合得对得上，不然速度可能差很远。
