# 老显卡 GTX 1080 跑 30B 混合专家模型，每秒能出 24 个 token

> 原标题：24+ tok/s from ~30B MoE models on an old GTX 1080 (8 GB VRAM, 128k context)

- 来源：r/LocalLLaMA
- 发布时间：2026-05-13T20:41:56.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/19911
- 原文：https://www.reddit.com/r/LocalLLaMA/comments/1tcc7h5/24_toks_from_30b_moe_models_on_an_old_gtx_1080_8/

## 摘要

用户 mdda 在一台老机器（i7-6700、GTX 1080 8GB 显存、32GB 内存）上跑 Qwen 3.6 35B-A3B 这类约 300 亿参数的混合专家模型，推理速度到了每秒 24 个 token 左右，上下文窗口开到 128k。

## 推荐理由

用户 mdda 在 i7-6700 配 GTX 1080 8GB 显存的老机器上跑约 300 亿参数混合专家模型，推理速度约每秒 24 个 token，上下文开到 128k，给出了老硬件运行大模型的具体配置与实测数字。

## 锐评

24 tok/s 这个数放在 1080 上确实挺能打，128k 上下文更离谱。8GB 显存装不下 30B 的权重，MoE 每 token 只激活一小部分专家，剩下的靠 32GB 内存扛，速度掉到 24 但没崩，瓶颈已经从显存挪到内存带宽。老卡跑大模型的门槛比想象中低，代价是 prompt 一长 prefill 就拖后腿。想省钱自建的可以拿这套配置当参考，别指望拿它做交互式 agent。
