跳到正文
r/LocalLLaMA

小米声称在标准8卡服务器上把1万亿参数模型跑到了每秒1000多个token

Xiaomi just claimed 1,000+ tps on a 1T model using a standard 8-GPU server

小米的MiMo团队发布了MiMo-V2.5-Pro UltraSpeed,说他们在单台8卡的标准服务器上,把一个1万亿参数的混合专家模型(MoE)跑出了每秒超过1000个token的输出速度。这个速度如果属实,确实挺夸张,因为它没用Cerebras那种整块晶圆做的定制芯片,也没用Groq那种靠大量片上内存堆出来的硬件,就是普通GPU服务器。

推荐理由:小米MiMo团队称在单台标准8卡服务器上把1万亿参数MoE模型跑到每秒超1000 token,未依赖Cerebras或Groq的定制硬件,可对照其与专用芯片路线的差异。

读原文 ↗导出 Markdown