网友实测 Gemma 4 和 Qwen 3.6 的 MTP 加速:vLLM 上推理速度提升 3.34 倍
一位老哥在 RTX PRO 6000 显卡上跑了 MTP(多 token 预测,一次猜好几个词来加速生成)的测试。他用 vLLM 跑 Gemma 4 31B 模型,开了 MTP 后速度从每秒 39.69 个 token 飙到 132.52 个,快了 3.34 倍。测试是跑 10 次、每次生成 1500 个 token 取的结果。
推荐理由:一位用户在 RTX PRO 6000 上用 vLLM 测试 Gemma 4 31B 开启 MTP 前后的推理速度,从每秒 39.69 个 token 提升到 132.52 个,给出具体硬件与框架下的实测数据。