小米 MiMo 1T 模型跑出每秒超 1000 token，靠混合量化和并行解码把速度提了 10 倍

小米 MiMo 与 TileRT 联合发布 UltraSpeed 模式，1T 模型输出突破 1000 tokens/s

小米 MiMo 和 TileRT 给 1T 参数旗舰模型加了个 UltraSpeed 模式，输出速度首次超过 1000 tokens/s。模型这边用了 FP4 混合量化，只量化 MoE 的 Expert 部分，搭配 DFlash 的块级 masked 并行推测解码，coding 场景下平均一次能接受 6.30 个 token，相当于猜对的命中率不低。系...

推荐理由：我会先打个折：正文没提硬件配置、batch size、并发数，也没说测试用的 prompt 长度和具体环境，所以这个 1000 tokens/s 的绝对值先别太激动。但亮点是技术组合说得清楚——FP4 只量化 MoE 的 Expert 部分，不是全模型瞎压，搭配 DFlash 的块级 masked 并行推测解码，coding 场景下一次能猜对 6.30 个 token，命中率不低，说明这套方案在代码生成这种结构化输出上确实有效。小米给旗舰模型开 UltraSpeed 模式，还定了三倍 Pro 版的价格，摆明了是要在推理速度和 API 商业化上抢个身...