跳到正文
r/LocalLLaMA

MTPLX 让苹果芯片跑大模型快了一倍多,原生 MTP 推理引擎来了

MTPLX | 2.24x faster TPS | The native MTP inference engine for Apple Silicon

一个叫 MTPLX 的推理引擎在 MacBook Pro M5 Max 上把 Qwen3.6-27B 的生成速度从每秒 28 个 token 提到了 63 个 token,快了 2.24 倍。测试用的是 4-bit MLX 量化,温度 0.6,top_p 0.95,top_k 20,最佳推测深度 D3。

推荐理由:MTPLX 在 MacBook Pro M5 Max 上把 Qwen3.6-27B 的生成速度从每秒 28 个 token 提到 63 个,2.24 倍提升来自内置 MTP heads,无需额外加载 drafter 模型。

读原文 ↗导出 Markdown