RTX 5000 PRO 48GB 实跑测试:27B 模型跑到 80 tok/s,200k 上下文全精度缓存
The RTX 5000 PRO (48GB) arrived and it is better than I expected.
一位完全没装过机的 Reddit 用户花了 5600 美元攒了一台 RTX 5000 PRO 48GB 的机器,单卡跑 Qwen3.6-27B-FP8 模型。他自己说装机全靠问 LLM,配 vLLM 时烧掉了 Claude Code 一半的周额度才搞定。
推荐理由:一位零装机经验的用户用5600美元攒出单卡RTX 5000 PRO 48GB机器,跑27B模型达到80 tok/s并支持200k上下文全精度缓存,展示了本地推理的可行配置。