# llama.cpp 合并 MTP 投机解码，Qwen3.6 27B 在 Strix Halo 上跑到 2.44 倍速

> 原标题：llama.cpp MTP support landed - Qwen3.6 27B at 2.44× on a Strix Halo, 2.17× on a RTX 3090 rig

- 来源：r/LocalLLaMA
- 发布时间：2026-05-18T19:01:23.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/22539
- 原文：https://www.reddit.com/r/LocalLLaMA/comments/1tgxau6/llamacpp_mtp_support_landed_qwen36_27b_at_244_on/

## 摘要

llama.cpp 在 PR #22673 里正式合并了 MTP（多 token 预测）投机解码支持。实测 Qwen3.6 27B 用 Q8_0 量化，在 Strix Halo 上从 7.4 tok/s 提到 18.1 tok/s，速度翻了 2.44 倍。

## 推荐理由

llama.cpp 合并 MTP 投机解码后，Qwen3.6 27B 在 Strix Halo 上实测从 7.4 tok/s 提升到 18.1 tok/s，本地推理的加速幅度有了具体参照。

## 锐评

2.44 倍这个数字挺实在，本地跑 27B 从 7.4 到 18.1 tok/s，Strix Halo 这种统一内存机器的可用性往上抬了一档。MTP 投机解码本来就是拿小模型草稿换吞吐，llama.cpp 合进去以后不用自己搭 scaffold，Q8_0 还能保住精度，对本地党是白捡的。卡人的还是显存和带宽，Strix Halo 能跑出这个数说明瓶颈在算力不在内存。反正我会先把手上几个本地模型切过去试试，能省一半等待时间就值。
