# SGLang 给 DeepEP 的 MoE 推理加了两个负载均衡器：Waterfill 和 LPLB

> 原标题：SGLang 引入 Waterfill 与 LPLB 提升 DeepEP MoE 负载均衡

- 来源：AI HOT 精选
- 发布时间：2026-06-25T16:00:00.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/40939
- 原文：https://www.lmsys.org/blog/2026-06-26-waterfill-lplb

## 摘要

LMSYS 和 NVIDIA 在 SGLang 里为 DeepEP 的 MoE 推理加了两个运行时负载均衡方法。

## 推荐理由

LMSYS 和 NVIDIA 在 SGLang 里为 DeepEP 的 MoE 推理加入 Waterfill 与 LPLB 两个运行时负载均衡方法，并给出 V3、R1、V4 上的吞吐量提升数据。

## 锐评

1.48% 到 4.66% 这个提升幅度，放在 MoE 推理上不算小，但也不是让人连夜升级的数字。V4 上从 49253 到 51677 token/s，绝对值涨了 2400 多，负载均衡在专家路由不均的时候确实能抠出东西。跑 DeepSeek 系列生产环境的可以看看，专家并行该有的通信开销还在，别指望它解决根本问题。LMSYS 和 NVIDIA 一起发的，工程扎实，纯优化层，圈外人无感。
