跳到正文
r/LocalLLaMA

有人在 Windows 上直接用 vLLM 跑 Qwen3.6-27B,单张 RTX 3090 跑到 72 tok/s

Qwen3.6-27B at 72 tok/s on RTX 3090 on Windows using native vLLM (no WSL, no Docker), portable launcher and installer

Reddit 用户 One_Slip1455 发了个原生 Windows 版 vLLM 启动器,不用 WSL 也不用 Docker。在一张 RTX 3090 上跑 Qwen3.6-27B(INT4 量化),短上下文能到 72 tok/s。

推荐理由:Reddit 用户发布原生 Windows 版 vLLM 启动器,无需 WSL 或 Docker,在单张 RTX 3090 上以 INT4 量化运行 Qwen3.6-27B,短上下文达到 72 tok/s。

读原文 ↗导出 Markdown