# Luce Spark：让 35B 的 MoE 模型在 16GB 显存上跑起来，不用忍受传统卸载的速度惩罚

> 原标题：Luce Spark: a 35B MoE on a 16 GB GPU, without the offload tax

- 来源：r/LocalLLaMA
- 发布时间：2026-06-08T15:24:27.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/35623
- 原文：https://www.reddit.com/r/LocalLLaMA/comments/1u0b3cu/luce_spark_a_35b_moe_on_a_16_gb_gpu_without_the/

## 摘要

Luce Spark 是一个开源方案，能让 Qwen3.6 35B-A3B 这种规模的混合专家模型在 RTX 3090 上只占 13.3 GiB 显存，跑出约 100 tok/s 的速度。

## 推荐理由

Luce Spark 让 Qwen3.6 35B-A3B 在 RTX 3090 上只占 13.3 GiB 显存并跑到约 100 tok/s，其做法是把常用专家留在 GPU、其余放内存并异步搬运，与计算重叠。

## 锐评

35B 的 MoE 塞进 13.3 GiB 还能跑 100 tok/s，这个数比标题本身值钱。MoE 本来就该这么用，激活的专家才几个，把热专家钉在显存里、冷专家扔内存异步搬，搬运和计算重叠，offload 的等待就被藏起来了。3090 二手价现在很便宜，这套方案一跑，本地推理的性价比又往上抬了一档。

唯一的问题是这数只有 Reddit 帖子，没第三方复现。100 tok/s 是短 prompt 还是长 context 下测的，差很多。我倾向于信思路，速度先留个问号。
