跳到正文
r/LocalLLaMA

双卡 3090 跑 27B 模型,解码速度几乎翻倍,没插 NVLink 也做到了

Weird to get near linear scaling by adding another GPU?

一位 Reddit 用户拿 qwen3.6-27b-autoround-int4 模型做测试,对比单张 3090 和两张 3090 的表现。

推荐理由:Reddit 用户用两张 3090 在无 NVLink 的普通 PCIe 下跑 qwen3.6-27b 的 int4 量化版,解码速度相比单卡接近翻倍,为本地推理加卡提供了具体参考。

读原文 ↗导出 Markdown