# Qwen 3.6 27B 在 24G 显存上的部署实测：后端、量化方案与参数对比

> 原标题：Qwen 3.6 27B on 24GB VRAM setup: backend comparisons, quant choice and settings (llama.cpp, ik_llama.cpp, BeeLlama, vllm)

- 来源：r/LocalLLaMA
- 发布时间：2026-05-18T10:43:23.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/22475
- 原文：https://www.reddit.com/r/LocalLLaMA/comments/1tgis7s/qwen_36_27b_on_24gb_vram_setup_backend/

## 摘要

作者用一张 RTX 3090 24GB 跑 Qwen 3.6 27B，最终留用了 ik_llama.cpp 搭配 Qwen3.6-27B-MTP-IQ4_KS.gguf 这个量化版本。

## 推荐理由

作者在单张 RTX 3090 24GB 上实测 Qwen 3.6 27B 的多种后端与量化方案，最终选用 ik_llama.cpp 搭配 IQ4_KS 量化，为本地部署的选型提供了一份单卡实测对比。

## 锐评

单张 3090 跑 27B 还能开到 156k 上下文，这个 IQ4_KS 量化有点东西。decode 72.9 tok/s 对本地来说完全能用了，prefill 1261 tok/s 也够看，ik_llama.cpp 这波把 llama.cpp 系的上限又往上顶了一截。

单人单卡一次测试，参考价值就那样，多卡和长跑稳定性都没测。想省 API 钱的可以先照这个配置抄一份试试。
