# 小米发布 MiMo-V2.5-Pro-UltraSpeed，万亿参数模型跑到每秒 1000 个 token

> 原标题：MiMo-v2.5-Pro-UltraSpeed: 1T model with 1000 tokens per second

- 来源：Hacker News 首页
- 发布时间：2026-06-08T15:27:33.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/35618
- 原文：https://mimo.xiaomi.com/blog/mimo-tilert-1000tps

## 摘要

小米和 TileRT 合作，把一个 1 万亿参数的大模型在 8 张普通 GPU 上跑到了每秒生成 1000 多个 token。他们用了两招：一是只对 MoE 专家模块做 FP4 量化，把模型体积和显存带宽压力打下来，同时保住推理质量；二是用了一种叫 DFlash 的投机解码方法，一次能猜对更长的 token 串，减少反复验证的等待时间。

## 推荐理由

小米与 TileRT 合作，用 FP4 量化 MoE 专家模块加 DFlash 投机解码，在 8 张 GPU 上把万亿参数模型生成速度提到每秒 1000 多个 token。

## 锐评

8 张普通 GPU 跑 1 万亿参数，这个配置听着就不普通。MoE 只压专家模块的 FP4 是省显存带宽的正路，DFlash 一次猜更长的 token 串也是投机解码该走的方向，两招叠起来把吞吐拉上去，逻辑上说得通。但每秒 1000 token 这个数，卡是什么、上下文多长、精度掉多少，一个都没交代，厂商自己跑的 benchmark 我一律先当上限看。真能稳定跑到这个量级，推理成本能压下一个档次，做长输出 agent 的会直接受益。
