MTPLX 让苹果芯片跑大模型快了一倍多，原生 MTP 推理引擎来了

MTPLX | 2.24x faster TPS | The native MTP inference engine for Apple Silicon

一个叫 MTPLX 的推理引擎在 MacBook Pro M5 Max 上把 Qwen3.6-27B 的生成速度从每秒 28 个 token 提到了 63 个 token，快了 2.24 倍。测试用的是 4-bit MLX 量化，温度 0.6，top_p 0.95，top_k 20，最佳推测深度 D3。关键点是它直接用了模型自带的 MTP 头做推测解码...

推荐理由：我会先打个折：目前只有 Reddit 单帖来源，测试范围也限定在 Apple Silicon，验证面还窄。但 2.24 倍的吞吐提升是实打实的数字，而且 MTP heads 内置在模型里，不用额外加载一个 drafter 模型占内存，这点对 Mac 用户确实挺省钱。正文没披露更多模型或硬件的对比数据，所以先放在 featured 低位，等有更广的复现再往上调。