# 一张 RTX 3060 12GB 跑通 Qwen3.6-35B-A3B，128K 上下文生成速度 37 token/秒

> 原标题：Qwen3.6-35B-A3B-APEX / 128K ctx on RTX 3060 12GB — 37 t/s gen with 72k ctx filled, PPL 3.25, offloading 17GB model

- 来源：r/LocalLLaMA
- 发布时间：2026-05-28T11:12:51.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/29490
- 原文：https://www.reddit.com/r/LocalLLaMA/comments/1tq0h1p/qwen3635ba3bapex_128k_ctx_on_rtx_3060_12gb_37_ts/

## 摘要

用户 old-mike 在一张 RTX 3060 12GB 显卡上，用 spiritbuun 的 llama.cpp 优化分支和 mudler 的 APEX 量化模型，成功跑起了 17.3GB 的 Qwen3.6-35B-A3B。在已填充 72K 上下文时，生成速度达到 37.17 token/秒。

## 推荐理由

用户 old-mike 在单张 RTX 3060 12GB 上以 llama.cpp 优化分支和 APEX 量化跑起 17.3GB 的 Qwen3.6-35B-A3B，填充 72K 上下文时生成速度 37 token/秒，给出了消费级显卡跑大模型的具体配置与速度参考。

## 锐评

12GB 显存跑 35B 还带 128K 上下文，这个组合以前得两张 3090。35B 里每次只激活 3B，权重 17.3GB 靠 APEX 量化压下来，超出显存的部分走内存，速度还有 37 token/秒，瓶颈不在算力在带宽。单张 3060 的用户现在能本地跑一个像样的模型，省下的 API 钱几个月就回本。我唯一想确认的是 72K 填充时的困惑度，长上下文掉点才是真门槛。
