# vLLM 在混插 Blackwell/Ada 显卡集群上跑长上下文预填充，速度比 llama.cpp 快 4 到 6 倍

> 原标题：Benchmarking vLLM vs SGLang vs llama.cpp on a mixed Blackwell/Ada cluster

- 来源：r/LocalLLaMA
- 发布时间：2026-05-17T22:57:54.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/21960
- 原文：https://www.reddit.com/r/LocalLLaMA/comments/1tg4mw0/benchmarking_vllm_vs_sglang_vs_llamacpp_on_a/

## 摘要

作者用 7 张混插显卡（RTX PRO 6000、PRO 5000、两张 5090 和三张改显存的 4090）测了三个推理引擎处理长上下文的效率。在 Qwen3.5-397B-A17B 模型上塞进 7.5 万 token 的上下文，vLLM 首 token 延迟 9.8 秒，预填充速度 7683 token/秒。

## 推荐理由

作者在 7 张混插 Blackwell 与 Ada 显卡上实测长上下文预填充，vLLM 处理 7.5 万 token 时首 token 延迟 9.8 秒、预填充速度 7683 token/秒，约为 llama.cpp 的 4 到 6 倍。

## 锐评

6 倍差距这个数我信。llama.cpp 本来就是单机玩具定位，混插 7 张卡跑 397B 的 MoE，它那套调度吃不下，57 秒出第一个 token 算正常发挥。vLLM 7683 t/s 的预填充在 75k 上下文下能用了，9.8 秒 TTFT 放线上还是难受，长上下文该上 chunked prefill 和 prefix cache 还是得上。手上有杂牌卡的团队照这个配置抄就行，别自己造轮子。
