# RTX 5090 跑 Qwen3.6-27B 实测：DFlash 投机解码加 KV 缓存压缩，速度提到 3.26 倍

> 原标题：[Benchmark] DFlash Speculative Decoding + KV Cache Compression on RTX 5090 — 3.26x Speedup

- 来源：r/LocalLLaMA
- 发布时间：2026-06-08T11:59:50.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/35585
- 原文：https://www.reddit.com/r/LocalLLaMA/comments/1u05t6u/benchmark_dflash_speculative_decoding_kv_cache/

## 摘要

作者在单张 RTX 5090 上跑了 Qwen3.6-27B，用 DFlash 做投机解码（让一个小模型先猜答案，大模型再核对，省时间），同时压缩 KV 缓存（把模型记住的上下文瘦身，省显存）。结果最高提速到 3.26 倍。用 q4_0/turbo4 量化时速度是原来的 3.18 倍，WikiText-2 上的困惑度只涨了 0.02%，基本没掉精度。不...

## 推荐理由

作者在消费级新卡上实测了一套组合拳：用小模型先猜答案再让大模型核对（投机解码），同时把模型记的上下文瘦身（KV 缓存压缩）。结果速度翻了三倍多，精度几乎没掉。这对想在本地跑大模型的人来说是个很实在的参考，数据也够具体。不过来源只有 Reddit 一个帖子，我会先打个折，别当正式论文看。

## 锐评

这条 benchmark 的核心卖点是“用一张消费级显卡把 27B 模型跑到实用速度”。作者在 RTX 5090 上跑 Qwen3.6-27B，同时用了两招：DFlash 投机解码（让小模型先猜答案，大模型核对，省去逐字生成的等待时间）和 KV 缓存压缩（把模型记住的上下文瘦身，省显存）。结果最高提速到 3.26 倍，用 q4_0/turbo4 量化时速度是原来的 3.18 倍，WikiText-2 上的困惑度只涨了 0.02%，精度损失几乎可以忽略。

但这条信息有个硬伤：Reddit 原文被屏蔽了，我们拿到的只是摘要。具体测试用了什么 prompt、生成长度多少、batch size 怎么设、温度参数多少，这些关键变量正文都没披露。投机解码的加速比对任务类型很敏感，写代码和闲聊的收益可能差很多，不能只看一个 WikiText 的困惑度就下结论。另外，KV 缓存压缩在长上下文场景下才真正显价值，摘要里没提测试用了多长的上下文。

我会先打个折：这个数字说明技术路线可行，但离“随便什么任务都能跑这么快”还差验证。如果你自己复现，重点看长文本生成和代码补全这两个场景，那才是真正吃显存和延迟的地方。