跳到正文
Hacker News 首页wondersky

用 vLLM 在两台 NVIDIA DGX Station 上以 607.8 tok/s 服务 GLM-5.3

Serving GLM-5.3 at 607.8 tok/s across two Nvidia DGX stations with vLLM

NVIDIA 用两台通过 ConnectX-8 RDMA 互联的 DGX Station,以 vLLM 张量并行(TP=2)在单端点本地服务 753B 参数的 GLM-5.3 NVFP4 模型,实现 607.8 tok/s 吞吐。

读原文 ↗导出 Markdown