# 在单张 RTX 3090 Ti 上跑 Qwen3.5/3.6 的 NextN MTP 投机解码指南

> 原标题：Running Qwen3.5 / Qwen3.6 with NextN MTP (Multi-Token Prediction) speculative decode in llama.cpp — single RTX 3090 Ti GPU guide

- 来源：r/LocalLLaMA
- 发布时间：2026-05-07T09:56:06.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/15567
- 原文：https://www.reddit.com/r/LocalLLaMA/comments/1t65vl8/running_qwen35_qwen36_with_nextn_mtp_multitoken/

## 摘要

Reddit 用户分享了一个 llama.cpp 实操指南，用单张 RTX 3090 Ti 跑 Qwen3.5 和 3.6 的 NextN MTP（多 token 预测，一种让模型一次猜好几个词来加速生成的技术）。目前需要打两个还没合并的 PR：#22400 和 #22673。

## 推荐理由

Reddit 用户给出在单张 RTX 3090 Ti 上运行 Qwen3.5 和 3.6 的 llama.cpp 实操指南，依赖两个尚未合并的 PR，涉及 NextN MTP 投机解码的配置方法。

## 锐评

157 tok/s 放在 3090 Ti 上确实好看，代价是要打两个没合并的 PR，主线之外的代码拿来当生产环境用。nextn=q8_0 那个坑挺典型，量化覆盖漏一层就吐乱码，这种问题不报错，只会让你怀疑模型本身。想在家用卡上榨性能的可以照抄，别拿它跑要紧的活，PR 一改就得跟着重来。
