跳到正文
r/LocalLLaMA

Luce Spark:让 35B 的 MoE 模型在 16GB 显存上跑起来,不用忍受传统卸载的速度惩罚

Luce Spark: a 35B MoE on a 16 GB GPU, without the offload tax

Luce Spark 是一个开源方案,能让 Qwen3.6 35B-A3B 这种规模的混合专家模型在 RTX 3090 上只占 13.3 GiB 显存,跑出约 100 tok/s 的速度。

推荐理由:Luce Spark 让 Qwen3.6 35B-A3B 在 RTX 3090 上只占 13.3 GiB 显存并跑到约 100 tok/s,其做法是把常用专家留在 GPU、其余放内存并异步搬运,与计算重叠。

读原文 ↗导出 Markdown