跳到正文
r/LocalLLaMA

llama.cpp 新分支让 MoE 模型在 12GB 显存上跑得更快,RTX 2060 上速度从 19/22 tk/s 提到 26 tk/s

Experts first llama.cpp

comanderxv 给 llama.cpp 开了个叫“experts first”的分支,专门优化混合专家模型(MoE)的显存调度。

推荐理由:comanderxv 为 llama.cpp 新开 experts first 分支,优化 MoE 模型的显存调度,使 12GB 显存的老卡在 RTX 2060 上从 19/22 tk/s 提升到 26 tk/s。

读原文 ↗导出 Markdown