在单张 RTX 3090 Ti 上跑 Qwen3.5/3.6 的 NextN MTP 投机解码指南

Running Qwen3.5 / Qwen3.6 with NextN MTP (Multi-Token Prediction) speculative decode in llama.cpp — single RTX 3090 Ti GPU guide

Reddit 用户分享了一个 llama.cpp 实操指南，用单张 RTX 3090 Ti 跑 Qwen3.5 和 3.6 的 NextN MTP（多 token 预测，一种让模型一次猜好几个词来加速生成的技术）。目前需要打两个还没合并的 PR：#22400 和 #22673。实测 Qwen3.6-35B-A3B-MTP 模型在 350W 功耗、170...

推荐理由：我会先打个折：这是 Reddit 个人指南，依赖两个没合进主线的 PR，稳定性没保证。但亮点很实在——单卡 3090 Ti 跑 35B 模型冲到 157 tok/s，还点出了 nextn=q8_0 量化覆盖这个坑，漏掉会输出乱码。对想在家用显卡上榨性能的 AI 从业者来说，这份功耗、频率、KV 缓存设置都给了，可操作性强。正文没披露模型精度损失和长文本下的速度衰减，这点先别太激动。