# 小米 MiMo 在单台 8 卡服务器上把万亿参数模型跑到每秒 1000+ token

> 原标题：小米 MiMo-V2.5-Pro-UltraSpeed 突破 1，000 tokens/s，单台 8-GPGPU 节点运行 1T MoE 模型

- 来源：AI HOT 精选
- 发布时间：2026-06-08T14:37:21.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/35613
- 原文：https://x.com/XiaomiMiMo/status/2063993790587904362

## 摘要

小米和 TileRT_AI 放出了一个叫 MiMo-V2.5-Pro-UltraSpeed 的版本，用一台普通的 8 卡 GPU 节点就跑起了 1 万亿参数的 MoE 模型，输出速度超过每秒 1000 个 token。这个速度不是靠 Cerebras 或 Groq 那种专用硬件堆出来的，对常规部署来说挺省钱。

## 推荐理由

小米与 TileRT_AI 用单台 8 卡 GPU 节点跑起 1 万亿参数 MoE 模型，输出速度超过每秒 1000 个 token，未依赖专用硬件，为常规推理部署提供了一条低成本路径。

## 锐评

1T 的 MoE 在 8 卡上跑 1000 token/s，这个数如果站得住，卖点就是省卡。MoE 每 token 只激活一小部分专家，显存够放下权重、带宽扛得住路由，速度就能上去，所以关键在单机显存和卡间互联，不在什么专用芯片。限时免费聊天可以自己去压一压，看长 context 下掉不掉速。真按这个速度跑，单位 token 成本能比现在主流 API 低一截，难受的是靠堆卡卖推理的那批。
