跳到正文
AI HOT 精选

SGLang 给 DeepEP 的 MoE 推理加了两个负载均衡器:Waterfill 和 LPLB

SGLang 引入 Waterfill 与 LPLB 提升 DeepEP MoE 负载均衡

LMSYS 和 NVIDIA 在 SGLang 里为 DeepEP 的 MoE 推理加了两个运行时负载均衡方法。

推荐理由:LMSYS 和 NVIDIA 在 SGLang 里为 DeepEP 的 MoE 推理加入 Waterfill 与 LPLB 两个运行时负载均衡方法,并给出 V3、R1、V4 上的吞吐量提升数据。

读原文 ↗导出 Markdown