Qwen 3.6 27B 在 24G 显存上的部署实测:后端、量化方案与参数对比
Qwen 3.6 27B on 24GB VRAM setup: backend comparisons, quant choice and settings (llama.cpp, ik_llama.cpp, BeeLlama, vllm)
作者用一张 RTX 3090 24GB 跑 Qwen 3.6 27B,最终留用了 ik_llama.cpp 搭配 Qwen3.6-27B-MTP-IQ4_KS.gguf 这个量化版本。
推荐理由:作者在单张 RTX 3090 24GB 上实测 Qwen 3.6 27B 的多种后端与量化方案,最终选用 ik_llama.cpp 搭配 IQ4_KS 量化,为本地部署的选型提供了一份单卡实测对比。