# 网友实测 Gemma 4 和 Qwen 3.6 的 MTP 加速：vLLM 上推理速度提升 3.34 倍

> 原标题：I tested MTP on vLLM and llama.cpp for Gemma 4 &amp; Qwen 3.6 — 3.34x faster inference, here are my findings RTX 6000 PRO.

- 来源：r/LocalLLaMA
- 发布时间：2026-05-29T20:42:18.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/30445
- 原文：https://www.reddit.com/r/LocalLLaMA/comments/1trf0r0/i_tested_mtp_on_vllm_and_llamacpp_for_gemma_4/

## 摘要

一位老哥在 RTX PRO 6000 显卡上跑了 MTP（多 token 预测，一次猜好几个词来加速生成）的测试。他用 vLLM 跑 Gemma 4 31B 模型，开了 MTP 后速度从每秒 39.69 个 token 飙到 132.52 个，快了 3.34 倍。测试是跑 10 次、每次生成 1500 个 token 取的结果。

## 推荐理由

一位用户在 RTX PRO 6000 上用 vLLM 测试 Gemma 4 31B 开启 MTP 前后的推理速度，从每秒 39.69 个 token 提升到 132.52 个，给出具体硬件与框架下的实测数据。

## 锐评

3.34 倍这个数挺唬人，但 MTP 加速本来就是拿显存和接受率换的，39 到 132 tok/s 是在 1500 token 长生成上测的，短输出和并发场景未必有这收益。RTX PRO 6000 单卡跑 31B，个人玩家拿这个当参考还行，真上生产得看 batch 拉大以后还能剩多少。vLLM 这边能开就先开，反正不花额外的钱，只是别指望线上也翻三倍。
