Mistral Medium 3.5 128B 和 Qwen 3.5 122B A10B 在 4 张 RTX 3080 20GB 上的跑分对比
Mistral Medium 3.5 128B and Qwen 3.5 122B A10B on 4x RTX 3080 20GB
一位 Reddit 用户用 4 张 RTX 3080 20GB 显卡跑了两个大模型。Mistral Medium 3.5 128B 在 llama.cpp 里把张量拆分(tensor split)打开后,生成速度从每秒 10.37 个 token 翻倍到 21.59。
推荐理由:Reddit 用户用 4 张 RTX 3080 20GB 实测两个大模型,Mistral Medium 3.5 128B 开启张量拆分后生成速度从每秒 10.37 个 token 升至 21.59。