# llama.cpp 新分支让 MoE 模型在 12GB 显存上跑得更快，RTX 2060 上速度从 19/22 tk/s 提到 26 tk/s

> 原标题：Experts first llama.cpp

- 来源：r/LocalLLaMA
- 发布时间：2026-05-22T16:03:00.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/25652
- 原文：https://www.reddit.com/r/LocalLLaMA/comments/1tknbzh/experts_first_llamacpp/

## 摘要

comanderxv 给 llama.cpp 开了个叫“experts first”的分支，专门优化混合专家模型（MoE）的显存调度。

## 推荐理由

comanderxv 为 llama.cpp 新开 experts first 分支，优化 MoE 模型的显存调度，使 12GB 显存的老卡在 RTX 2060 上从 19/22 tk/s 提升到 26 tk/s。

## 锐评

12GB 卡把 35B MoE 从 19 提到 26 tk/s，这个提升对本地跑模型的人比一堆新模型发布实在。MoE 的瓶颈本来就在显存调度，expert 权重换进换出卡住速度，缓存命中率做上去就是白捡的吞吐。RTX 2060 这种老卡还能再战，llama.cpp 这套社区优化没停。反正我信这个方向，本地推理的成本神经就长在这。
