小红书和北大开源 UltraEP,给 MoE 模型做实时负载均衡
小红书与北大开源 UltraEP:面向大规模 MoE 训推的实时负载均衡方案
MoE 模型里专家负载不均会让 GPU 空等,UltraEP 的做法是在每个 microbatch 和每一层动态复制热门专家,用精确路由信息实时调度。在 Qwen3-235B 上训练吞吐达到理想性能的 94.6%,比 Megatron-LM 高 42%;推理 prefill 吞吐是 SGLang 的 1.56 倍。正文没披露开源协议和部署条件。
推荐理由:小红书与北大开源 UltraEP,用逐层逐 microbatch 动态复制热门专家的方式做 MoE 实时负载均衡,训练吞吐达理想值的 94.6%,推理 prefill 吞吐为 SGLang 的 1.56 倍。