跳到正文
r/LocalLLaMA

Qwen3.6-27B 在单张 RTX 3090 上跑到 21.8 万上下文,工具调用也稳了

Follow-up: Qwen3.6-27B on 1× RTX 3090 — pushing to ~218K context + ~50–66 TPS, tool calls now stable (PN12 fix)

一位 Reddit 用户用一张 24GB 显存的 RTX 3090 跑 Qwen3.6-27B(一个 270 亿参数的模型),把上下文窗口推到了约 21.8 万个 token,生成速度在每秒 50 到 66 个 token 之间。

推荐理由:一位 Reddit 用户用单张 24GB 的 RTX 3090 把 Qwen3.6-27B 的上下文推到约 21.8 万 token,生成速度每秒 50 到 66 个 token,并修复了工具调用的显存溢出问题。

读原文 ↗导出 Markdown