# 单张 RTX 5090 跑通 Qwen3.6 27B：NVFP4 量化加 MTP 投机解码，200k 上下文实测 73.6 tok/s

> 原标题：Qwen3.6 27B NVFP4 + MTP on a single RTX 5090: 200k context working in vLLM

- 来源：r/LocalLLaMA
- 发布时间：2026-05-06T14:05:54.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/14975
- 原文：https://www.reddit.com/r/LocalLLaMA/comments/1t5dya8/qwen36_27b_nvfp4_mtp_on_a_single_rtx_5090_200k/

## 摘要

一位 Reddit 用户在单张 32GB 显存的 RTX 5090 上，用 vLLM 跑通了 Qwen3.6 27B 的 NVFP4 量化版，并验证了 200k 上下文长度。配置上用了 fp8_e4m3 的 KV 缓存、FlashInfer 和 3 个投机 token 的 MTP。

## 推荐理由

Reddit 用户用单张 RTX 5090 在 vLLM 上跑通 Qwen3.6 27B 的 NVFP4 量化版，并验证 200k 上下文，给出了 fp8_e4m3 KV 缓存与 MTP 投机解码的具体配置。

## 锐评

27B 塞进 32GB 单卡还能跑 200k 上下文，这个显存账算得挺漂亮，KV 缓存 8.3GiB，整卡吃到 30478MiB，基本贴着天花板在跑。73.6 tok/s 是投机解码加 MTP 三个 token 换来的，TTFT 70 秒才是真实体验，首 token 等一分多钟，交互式场景直接劝退。本地跑长上下文做批处理、离线摘要这类活可以，想拿来当聊天助手还是算了。反正 5090 用户多一个折腾的理由，真要上生产我宁愿按 token 付钱。
