跳到正文
AI HOT 精选

小米 MiMo 1T 模型跑出每秒超 1000 token,靠混合量化和并行解码把速度提了 10 倍

小米 MiMo 与 TileRT 联合发布 UltraSpeed 模式,1T 模型输出突破 1000 tokens/s

小米 MiMo 和 TileRT 给 1T 参数旗舰模型加了个 UltraSpeed 模式,输出速度首次超过 1000 tokens/s。模型这边用了 FP4 混合量化,只量化 MoE 的 Expert 部分,搭配 DFlash 的块级 masked 并行推测解码,coding 场景下平均一次能接受 6.30 个 token,相当于猜对的命中率不低。

推荐理由:小米 MiMo 与 TileRT 为 1T 参数模型加入 UltraSpeed 模式,输出突破 1000 tokens/s,其 FP4 只量化 MoE 专家部分并搭配块级并行推测解码,coding 场景单次平均接受 6.30 个 token。

读原文 ↗导出 Markdown