# Zai 把 GLM-5.1 推理集群的网络架构换了，吞吐量提了 15%

> 原标题：Zai replaced the network architecture running GLM-5.1 inference and the gains are pretty wild

- 来源：r/LocalLLaMA
- 发布时间：2026-05-28T13:09:11.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/29492
- 原文：https://www.reddit.com/r/LocalLLaMA/comments/1tq35a0/zai_replaced_the_network_architecture_running/

## 摘要

Zai 在一个千卡规模的 GLM-5.1 代码推理集群上，把原来的 ROFT 网络拓扑换成了自研的 ZCube。硬件、软件栈和模型都没变，但交换机与光模块成本降了 33%，GPU 推理吞吐量提升了 15%。在把输入理解（prefill）和内容生成（decode）拆开跑的部署模式下，首个 token 的 P99 尾部延迟也砍掉了 40.6%。

## 推荐理由

Zai 在千卡 GLM-5.1 推理集群上把网络拓扑从 ROFT 换成自研 ZCube，硬件软件模型均未改动，交换机与光模块成本降 33%、吞吐升 15%。

## 锐评

换网络拓扑能省 33% 的交换机和光模块钱，这个比吞吐提 15% 更值得看。硬件、软件、模型全没动，纯靠布线方式把成本砍掉三分之一，原来那套 ROFT 的冗余买多了。千卡集群里交换机加光模块本来就是仅次于 GPU 的第二大开销，省下来的钱够再买几十张卡。prefill 和 decode 拆开跑时首 token P99 降 40.6%，这个数对在线代码补全挺关键。来源只有 Reddit 单帖，数字我没法验，但方向是对的，自研拓扑省下的就是真金白银。
