RTX 5090 跑 Qwen3.6-27B 实测：DFlash 投机解码加 KV 缓存压缩，速度提到 3.26 倍

[Benchmark] DFlash Speculative Decoding + KV Cache Compression on RTX 5090 — 3.26x Speedup

作者在单张 RTX 5090 上跑了 Qwen3.6-27B，用 DFlash 做投机解码（让一个小模型先猜答案，大模型再核对，省时间），同时压缩 KV 缓存（把模型记住的上下文瘦身，省显存）。结果最高提速到 3.26 倍。用 q4_0/turbo4 量化时速度是原来的 3.18 倍，WikiText-2 上的困惑度只涨了 0.02%，基本没掉精度。不...

推荐理由：作者在消费级新卡上实测了一套组合拳：用小模型先猜答案再让大模型核对（投机解码），同时把模型记的上下文瘦身（KV 缓存压缩）。结果速度翻了三倍多，精度几乎没掉。这对想在本地跑大模型的人来说是个很实在的参考，数据也够具体。不过来源只有 Reddit 一个帖子，我会先打个折，别当正式论文看。