跳到正文
AI HOT 精选

小米 MiMo 在单台 8 卡服务器上把万亿参数模型跑到每秒 1000+ token

小米 MiMo-V2.5-Pro-UltraSpeed 突破 1,000 tokens/s,单台 8-GPGPU 节点运行 1T MoE 模型

小米和 TileRT_AI 放出了一个叫 MiMo-V2.5-Pro-UltraSpeed 的版本,用一台普通的 8 卡 GPU 节点就跑起了 1 万亿参数的 MoE 模型,输出速度超过每秒 1000 个 token。这个速度不是靠 Cerebras 或 Groq 那种专用硬件堆出来的,对常规部署来说挺省钱。

推荐理由:小米与 TileRT_AI 用单台 8 卡 GPU 节点跑起 1 万亿参数 MoE 模型,输出速度超过每秒 1000 个 token,未依赖专用硬件,为常规推理部署提供了一条低成本路径。

读原文 ↗导出 Markdown