# Qwen3.8 27B 模型塞进 24GB 显卡跑满 256K 上下文，实测每秒 50 个 token

> 原标题：Qwen3.8-27B at 256K on a 24GB RTX PRO 4000 SFF (432 GB/s): 50 tok/s with MTP

- 来源：Hacker News 首页
- 发布时间：2026-08-17T14:29:18.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/51244
- 原文：https://piszczek.pl/blog/qwen38-27b-256k-50-tps-24gb-gpu

## 摘要

作者在一张 24GB 显存的 RTX PRO 4000 SFF 显卡上，把 Qwen3.8 27B 模型跑到了 50.44 tok/s，而且上下文长度拉满到 26 万 token。

## 推荐理由

作者在单张 24GB 显存的 RTX PRO 4000 SFF 上把 Qwen3.8 27B 跑出 50.44 tok/s，并将上下文拉满到 26 万 token，给出了小显存本地部署长上下文模型的具体配置路径。

## 锐评

27B 塞进 24GB 还能跑 256K 上下文，50 tok/s 这个数挺能打。卡人的地方在 KV cache，256K 那部分显存开销比模型本身还大，作者能压进 24GB 说明量化加 offload 这套组合调得不错。这种配置对个人和小团队是实打实的省钱，一张四千块级别的卡就能顶掉一部分 API 账单，长 context 的活本地跑也够了。反正我是信这个数的，能复现的东西不用多解释。
