老显卡 GTX 1080 跑 30B 混合专家模型,每秒能出 24 个 token
用户 mdda 在一台老机器(i7-6700、GTX 1080 8GB 显存、32GB 内存)上跑 Qwen 3.6 35B-A3B 这类约 300 亿参数的混合专家模型,推理速度到了每秒 24 个 token 左右,上下文窗口开到 128k。
推荐理由:用户 mdda 在 i7-6700 配 GTX 1080 8GB 显存的老机器上跑约 300 亿参数混合专家模型,推理速度约每秒 24 个 token,上下文开到 128k,给出了老硬件运行大模型的具体配置与实测数字。