Luce Spark:让 35B 的 MoE 模型在 16GB 显存上跑起来,不用忍受传统卸载的速度惩罚
Luce Spark: a 35B MoE on a 16 GB GPU, without the offload tax
Luce Spark 是一个开源方案,能让 Qwen3.6 35B-A3B 这种规模的混合专家模型在 RTX 3090 上只占 13.3 GiB 显存,跑出约 100 tok/s 的速度。
推荐理由:Luce Spark 让 Qwen3.6 35B-A3B 在 RTX 3090 上只占 13.3 GiB 显存并跑到约 100 tok/s,其做法是把常用专家留在 GPU、其余放内存并异步搬运,与计算重叠。