一台 16GB 显卡跑通 Qwen 3.8 27B 模型,100k 上下文速度冲到 50 token/秒
Qwen 3.8 27B at 50 tok/s with 100k Context on a 16GB GPU! (beellama.cpp)
一位玩家在 RTX 4070 Ti SUPER(16GB 显存)上把 Qwen 3.8 27B 模型塞满了,生成速度跑到每秒 47-50 个 token,上下文窗口拉到 10 万 token。
推荐理由:一位玩家在 16GB 显存的 RTX 4070 Ti SUPER 上跑通 Qwen 3.8 27B,生成速度达到每秒 47 至 50 个 token,上下文拉到 10 万 token,为同显存档位的本地部署提供了实测配置。