Mistral Medium 3.5 128B 和 Qwen 3.5 122B A10B 在 4 张 RTX 3080 20GB 上的跑分对比

Mistral Medium 3.5 128B and Qwen 3.5 122B A10B on 4x RTX 3080 20GB

一位 Reddit 用户用 4 张 RTX 3080 20GB 显卡跑了两个大模型。Mistral Medium 3.5 128B 在 llama.cpp 里把张量拆分（tensor split）打开后，生成速度从每秒 10.37 个 token 翻倍到 21.59。但 Qwen 3.5 122B A10B 这个混合专家模型（MoE，把任务分给不同子模...

推荐理由：HKR 三项全中。4×RTX 3080 这个配置本身就是个好钩子，帖子给了 llama.cpp 和 vLLM 下两组实打实的吞吐变化，不是空谈。Mistral 张量切分后速度翻倍，Qwen MoE 反而降速，这个对比把并行策略对 MoE 架构的差异暴露得很清楚。不过数据来自 Reddit 单次跑分，没交代精度和上下文长度，所以分数压在 72–77 这个区间，不往上拔。