# 单张 RTX 4090 跑 Qwen3.6-27B，262K 上下文冲到 80+ t/s

> 原标题：Got MTP + TurboQuant running — Qwen3.6-27B -- 80+ t/s at 262K context on a single RTX 4090

- 来源：r/LocalLLaMA
- 发布时间：2026-05-08T21:15:59.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/16466
- 原文：https://www.reddit.com/r/LocalLLaMA/comments/1t7kyju/got_mtp_turboquant_running_qwen3627b_80_ts_at/

## 摘要

indrasmirror 用一张 RTX 4090 跑 Qwen3.6-27B-Heretic-v2，上下文拉到 262K token，搭配 TBQ4_0 格式的 KV 缓存和 MTP 推测解码（draft 3），生成速度从约 43 t/s 提到 80-87 t/s。MTP 草稿接受率大概 73%，说明模型对草稿的采纳比例不低，这是提速的关键。

## 推荐理由

indrasmirror 在单张 RTX 4090 上把 Qwen3.6-27B 的上下文拉到 262K，并用 MTP 推测解码把生成速度从约 43 t/s 提升到 80-87 t/s，草稿接受率约 73%。

## 锐评

单卡 4090 跑 27B 到 80 t/s，这个数字比模型本身有意思。MTP 草稿接受率 73% 是关键，推测解码在这代模型上总算不是花架子，43 到 80 差不多翻倍，等于白捡一张卡。262K 上下文还能维持这个速度，KV 缓存压到 TBQ4_0 帮了大忙。本地部署的朋友可以照着这套配置抄，消费级显卡跑长上下文的生产力场景算是打开了。
