跳到正文
r/LocalLLaMA

用 12GB 显存跑 Qwen3.6 35B A3B,llama.cpp MTP 实测跑到 80 tok/s、128K 上下文

80 tok/sec and 128K context on 12GB VRAM with Qwen3.6 35B A3B and llama.cpp MTP

Reddit 用户 janvitos 在 RTX 4070 Super(12GB 显存)上跑 Qwen3.6-35B-A3B-MTP-GGUF,搭配 llama.cpp 的一个 MTP 拉取请求。他贴出的实测数据是每秒 69.2 到 81.9 个 token,草稿接受率在 0.694 到 0.947 之间,上下文长度拉到 131072。

推荐理由:Reddit 用户 janvitos 在 12GB 显存的 RTX 4070 Super 上跑 Qwen3.6 35B A3B,贴出 69.2 到 81.9 tok/s 与 128K 上下文的实测配置。

读原文 ↗导出 Markdown