llama.cpp 合并 MTP 投机解码,Qwen3.6 27B 在 Strix Halo 上跑到 2.44 倍速
llama.cpp 在 PR #22673 里正式合并了 MTP(多 token 预测)投机解码支持。实测 Qwen3.6 27B 用 Q8_0 量化,在 Strix Halo 上从 7.4 tok/s 提到 18.1 tok/s,速度翻了 2.44 倍。
推荐理由:llama.cpp 合并 MTP 投机解码后,Qwen3.6 27B 在 Strix Halo 上实测从 7.4 tok/s 提升到 18.1 tok/s,本地推理的加速幅度有了具体参照。