# 小红书和北大开源 UltraEP，给 MoE 模型做实时负载均衡

> 原标题：小红书与北大开源 UltraEP：面向大规模 MoE 训推的实时负载均衡方案

- 来源：AI HOT 精选
- 发布时间：2026-07-20T08:00:45.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/45429
- 原文：https://mp.weixin.qq.com/s/rAoF65ywi5trWbI-heJieg

## 摘要

MoE 模型里专家负载不均会让 GPU 空等，UltraEP 的做法是在每个 microbatch 和每一层动态复制热门专家，用精确路由信息实时调度。在 Qwen3-235B 上训练吞吐达到理想性能的 94.6%，比 Megatron-LM 高 42%；推理 prefill 吞吐是 SGLang 的 1.56 倍。正文没披露开源协议和部署条件。

## 推荐理由

小红书与北大开源 UltraEP，用逐层逐 microbatch 动态复制热门专家的方式做 MoE 实时负载均衡，训练吞吐达理想值的 94.6%，推理 prefill 吞吐为 SGLang 的 1.56 倍。

## 锐评

94.6% 这个数挺唬人，MoE 负载均衡本来就是各家 infra 团队自己闷头调的东西，小红书肯开源，这套动态复制专家在他们自己集群上应该已经跑顺了。逐层逐 microbatch 复制热门专家，思路不新，难的是调度开销压得住，训练比 Megatron-LM 高 42% 这个量级要是第三方能复现，做大规模 MoE 训练的团队确实该看一眼。开源协议和部署条件一个字没提，这种 infra 项目最卡人的就是能不能塞进现有框架，光有吞吐数字落不了地。
