Serving GLM-5.3 at 607.8 tok/s across two Nvidia DGX stations with vLLM
NVIDIA 用两台通过 ConnectX-8 RDMA 互联的 DGX Station,以 vLLM 张量并行(TP=2)在单端点本地服务 753B 参数的 GLM-5.3 NVFP4 模型,实现 607.8 tok/s 吞吐。
NVIDIA 用两台通过 ConnectX-8 RDMA 互联的 DGX Station,以 vLLM 张量并行(TP=2)在单端点本地服务 753B 参数的 GLM-5.3 NVFP4 模型,实现 607.8 tok/s 吞吐。