跳到正文
r/LocalLLaMA

在笔记本 RTX 4060 8GB 上跑 Qwen3.6-35B-A3B 的实测:一个参数改动让速度从 11 跳到 43 tok/s,投机解码再提 26%

Running Qwen3.6-35B-A3B on a laptop RTX 4060 (8GB) — what worked, what didn't, and a surprising speculative-decoding result

一位 Reddit 用户在自己的笔记本(RTX 4060 8GB 显存)上跑了 Qwen3.6-35B-A3B 这个混合专家模型。他试下来发现,加上 --no-mmap 这个启动参数后,生成速度直接从大约 11 tok/s 飙到 43 tok/s,翻了近四倍。

推荐理由:一位 Reddit 用户在笔记本 RTX 4060 8GB 上实测 Qwen3.6-35B-A3B,仅加 --no-mmap 启动参数就把生成速度从约 11 tok/s 提到 43 tok/s,并给出投机解码再提 26% 的结果。

读原文 ↗导出 Markdown