跳到正文
r/LocalLLaMA

一张 AMD R9700 跑 Qwen 27B 模型,生成速度 153 tok/s

153 tok/s on 1x AMD Radeon R9700 running Qwen3.8 27b NVFP4, 470 tok/s @ 8 conc requests, Prefill @ 3,619 tok/s

Reddit 用户发帖称,单张 AMD Radeon R9700 显卡跑 Qwen3.8 27B 模型(NVFP4 量化),生成速度达到 153 tok/s,8 路并发时冲到 470 tok/s,预填充速度 3619 tok/s。这个速度对本地部署来说相当快,尤其是单卡跑 27B 模型。不过帖子正文被 Reddit 屏蔽了,没披露具体功耗、显存占用、散...

读原文 ↗导出 Markdown