# 小米声称在标准8卡服务器上把1万亿参数模型跑到了每秒1000多个token

> 原标题：Xiaomi just claimed 1,000+ tps on a 1T model using a standard 8-GPU server

- 来源：r/LocalLLaMA
- 发布时间：2026-06-08T15:51:46.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/35622
- 原文：https://www.reddit.com/r/LocalLLaMA/comments/1u0buhm/xiaomi_just_claimed_1000_tps_on_a_1t_model_using/

## 摘要

小米的MiMo团队发布了MiMo-V2.5-Pro UltraSpeed，说他们在单台8卡的标准服务器上，把一个1万亿参数的混合专家模型（MoE）跑出了每秒超过1000个token的输出速度。这个速度如果属实，确实挺夸张，因为它没用Cerebras那种整块晶圆做的定制芯片，也没用Groq那种靠大量片上内存堆出来的硬件，就是普通GPU服务器。

## 推荐理由

小米MiMo团队称在单台标准8卡服务器上把1万亿参数MoE模型跑到每秒超1000 token，未依赖Cerebras或Groq的定制硬件，可对照其与专用芯片路线的差异。

## 锐评

8 卡跑 1T MoE 出 1000 token/s，这个数如果成立，大模型推理成本能往下压一个量级，而且用的是普通 GPU 服务器，Cerebras 那种整块晶圆的路子可以不用看了。但摘要里 GPU 型号、batch size、量化精度一个都没给，这三个参数随便动一个，速度能差好几倍。1T 的 MoE 每次激活的专家可能就几十 B，跑得快不奇怪，难的是并发上去以后还稳不稳。我倾向于等一个可复现的测试环境，现在这个数只能当上限看。
