跳到正文
r/LocalLLaMA

一台 16GB 显卡跑通 Qwen 3.8 27B 模型,100k 上下文速度冲到 50 token/秒

Qwen 3.8 27B at 50 tok/s with 100k Context on a 16GB GPU! (beellama.cpp)

一位玩家在 RTX 4070 Ti SUPER(16GB 显存)上把 Qwen 3.8 27B 模型塞满了,生成速度跑到每秒 47-50 个 token,上下文窗口拉到 10 万 token。

推荐理由:一位玩家在 16GB 显存的 RTX 4070 Ti SUPER 上跑通 Qwen 3.8 27B,生成速度达到每秒 47 至 50 个 token,上下文拉到 10 万 token,为同显存档位的本地部署提供了实测配置。

读原文 ↗导出 Markdown