跳到正文
r/LocalLLaMA

MTP 投机解码实测:助手模型没选对,速度可能白给

Not All MTP Assistants Are Created Equal

一位用户在 llama.cpp 里给 Gemma 4 Heretic 系列模型跑 MTP 投机解码,发现助手模型(draft model)选得好不好,直接决定加速效果是翻倍还是几乎没变化。他拿 26B Q8 模型测试,生成速度从每秒 30 个 token 跳到 62 个;12B Q4 模型更夸张,从 12 涨到 54。

推荐理由:一位用户在 llama.cpp 上实测 Gemma 4 的 MTP 投机解码,26B Q8 生成速度从每秒 30 个 token 升到 62,12B Q4 从 12 升到 54,助手模型的选择直接决定加速幅度。

读原文 ↗导出 Markdown