一张 RTX 3060 12GB 跑通 Qwen3.6-35B-A3B,128K 上下文生成速度 37 token/秒
Qwen3.6-35B-A3B-APEX / 128K ctx on RTX 3060 12GB — 37 t/s gen with 72k ctx filled, PPL 3.25, offloading 17GB model
用户 old-mike 在一张 RTX 3060 12GB 显卡上,用 spiritbuun 的 llama.cpp 优化分支和 mudler 的 APEX 量化模型,成功跑起了 17.3GB 的 Qwen3.6-35B-A3B。在已填充 72K 上下文时,生成速度达到 37.17 token/秒。
推荐理由:用户 old-mike 在单张 RTX 3060 12GB 上以 llama.cpp 优化分支和 APEX 量化跑起 17.3GB 的 Qwen3.6-35B-A3B,填充 72K 上下文时生成速度 37 token/秒,给出了消费级显卡跑大模型的具体配置与速度参考。