# MTP 投机解码实测：助手模型没选对，速度可能白给

> 原标题：Not All MTP Assistants Are Created Equal

- 来源：r/LocalLLaMA
- 发布时间：2026-06-12T10:14:06.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/37839
- 原文：https://www.reddit.com/r/LocalLLaMA/comments/1u3r8ak/not_all_mtp_assistants_are_created_equal/

## 摘要

一位用户在 llama.cpp 里给 Gemma 4 Heretic 系列模型跑 MTP 投机解码，发现助手模型（draft model）选得好不好，直接决定加速效果是翻倍还是几乎没变化。他拿 26B Q8 模型测试，生成速度从每秒 30 个 token 跳到 62 个；12B Q4 模型更夸张，从 12 涨到 54。

## 推荐理由

一位用户在 llama.cpp 上实测 Gemma 4 的 MTP 投机解码，26B Q8 生成速度从每秒 30 个 token 升到 62，12B Q4 从 12 升到 54，助手模型的选择直接决定加速幅度。

## 锐评

MTP 的加速比全看 draft model 配不配，这个结论我信。12B Q4 从 12 涨到 54 tok/s，四倍多，26B Q8 只翻一倍，差距这么大说明 draft 和主模型的分布对不上时，投机解码基本白跑，还多占显存。llama.cpp 里换 draft 的成本几乎为零，跑本地的人值得花半小时把手上几个小模型挨个试一遍，别默认拿同系列最小的那个。单篇 Reddit 帖子，数字先当参考，但方向不会错。
