Qwen3.8 27B 模型塞进 24GB 显卡跑满 256K 上下文,实测每秒 50 个 token
Qwen3.8-27B at 256K on a 24GB RTX PRO 4000 SFF (432 GB/s): 50 tok/s with MTP
作者在一张 24GB 显存的 RTX PRO 4000 SFF 显卡上,把 Qwen3.8 27B 模型跑到了 50.44 tok/s,而且上下文长度拉满到 26 万 token。
推荐理由:作者在单张 24GB 显存的 RTX PRO 4000 SFF 上把 Qwen3.8 27B 跑出 50.44 tok/s,并将上下文拉满到 26 万 token,给出了小显存本地部署长上下文模型的具体配置路径。