跳到正文
机器之心 · 公众号

智谱在千卡集群部署 ZCube,同样 GPU 推理吞吐提升超 15%

推翻二十年组网逻辑,智谱落地ZCube,让同样的GPU多干15%的活

智谱把自研的 ZCube 通信方案用到了 GLM-5.1 的线上推理集群里,规模是千卡级别。它替换了原来的 ROFT 组网方式,但没动 GPU、软件栈和业务代码。效果上,吞吐量提升了超过 15%,首 token 延迟的 P99 下降了 40.6%,交换机加光模块的成本省了三分之一。

推荐理由:智谱在 GLM-5.1 千卡推理集群用自研 ZCube 替换原有组网,不动 GPU 和业务代码,吞吐提升超 15%,首 token 延迟 P99 降 40.6%。

读原文 ↗导出 Markdown