SGLang 给 DeepEP 的 MoE 推理加了两个负载均衡器:Waterfill 和 LPLB
SGLang 引入 Waterfill 与 LPLB 提升 DeepEP MoE 负载均衡
LMSYS 和 NVIDIA 在 SGLang 里为 DeepEP 的 MoE 推理加了两个运行时负载均衡方法。
推荐理由:LMSYS 和 NVIDIA 在 SGLang 里为 DeepEP 的 MoE 推理加入 Waterfill 与 LPLB 两个运行时负载均衡方法,并给出 V3、R1、V4 上的吞吐量提升数据。