跳到正文
AI HOT 精选

vLLM 的 transformers 后端现在跑得跟手写原生代码一样快,甚至更快

原生速度的 vLLM transformers 建模后端

HuggingFace 宣布,vLLM 里用 transformers 库当模型后端,吞吐量已经追平甚至超过了 vLLM 手写的原生实现。他们在 Qwen3 的 4B、32B 和 235B MoE 三个模型上做了对比测试,结果都是打平或反超。

推荐理由:HuggingFace 在不同规模的 Qwen3 模型上比较 vLLM 两种后端,模型库后端吞吐量均追平或超过手写实现。

读原文 ↗导出 Markdown