# Mistral Medium 3.5 128B 和 Qwen 3.5 122B A10B 在 4 张 RTX 3080 20GB 上的跑分对比

> 原标题：Mistral Medium 3.5 128B and Qwen 3.5 122B A10B on 4x RTX 3080 20GB

- 来源：r/LocalLLaMA
- 发布时间：2026-05-04T04:09:56.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/13396
- 原文：https://www.reddit.com/r/LocalLLaMA/comments/1t372ml/mistral_medium_35_128b_and_qwen_35_122b_a10b_on/

## 摘要

一位 Reddit 用户用 4 张 RTX 3080 20GB 显卡跑了两个大模型。Mistral Medium 3.5 128B 在 llama.cpp 里把张量拆分（tensor split）打开后，生成速度从每秒 10.37 个 token 翻倍到 21.59。

## 推荐理由

Reddit 用户用 4 张 RTX 3080 20GB 实测两个大模型，Mistral Medium 3.5 128B 开启张量拆分后生成速度从每秒 10.37 个 token 升至 21.59。

## 锐评

4 张 3080 跑 128B，本地跑大模型的成本线大概就在这。Mistral 开张量拆分后从 10.37 翻到 21.59，Qwen 的 MoE 反而降速，这个对比挺有意思。MoE 每 token 只激活一小部分专家，切分后通信开销吃掉了并行收益，dense 模型没这问题。本地部署别照搬张量并行，MoE 得看专家怎么分布。单次跑分，精度和上下文长度都没交代，21.59 这个数我持保留态度。
