vLLM 在混插 Blackwell/Ada 显卡集群上跑长上下文预填充,速度比 llama.cpp 快 4 到 6 倍
Benchmarking vLLM vs SGLang vs llama.cpp on a mixed Blackwell/Ada cluster
作者用 7 张混插显卡(RTX PRO 6000、PRO 5000、两张 5090 和三张改显存的 4090)测了三个推理引擎处理长上下文的效率。在 Qwen3.5-397B-A17B 模型上塞进 7.5 万 token 的上下文,vLLM 首 token 延迟 9.8 秒,预填充速度 7683 token/秒。
推荐理由:作者在 7 张混插 Blackwell 与 Ada 显卡上实测长上下文预填充,vLLM 处理 7.5 万 token 时首 token 延迟 9.8 秒、预填充速度 7683 token/秒,约为 llama.cpp 的 4 到 6 倍。