跳到正文
r/LocalLLaMA

Zai 把 GLM-5.1 推理集群的网络架构换了,吞吐量提了 15%

Zai replaced the network architecture running GLM-5.1 inference and the gains are pretty wild

Zai 在一个千卡规模的 GLM-5.1 代码推理集群上,把原来的 ROFT 网络拓扑换成了自研的 ZCube。硬件、软件栈和模型都没变,但交换机与光模块成本降了 33%,GPU 推理吞吐量提升了 15%。在把输入理解(prefill)和内容生成(decode)拆开跑的部署模式下,首个 token 的 P99 尾部延迟也砍掉了 40.6%。

推荐理由:Zai 在千卡 GLM-5.1 推理集群上把网络拓扑从 ROFT 换成自研 ZCube,硬件软件模型均未改动,交换机与光模块成本降 33%、吞吐升 15%。

读原文 ↗导出 Markdown