# vLLM 和 TileRT 开始共用一套服务，推理引擎从“谁跑得快”转向“该走哪条路”

> 原标题：vLLM x TileRT：两个目标相反的推理引擎，为什么开始共用一套服务

- 来源：Computing Life · Share · 鸭哥调研
- 发布时间：2026-07-17T00:00:00.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/45073
- 原文：https://yage.ai/share/vllm-tilert-specialized-inference-paths-20260717.html

## 摘要

vLLM 擅长把多个请求打包一起算，提高整体吞吐；TileRT 则专攻一次只处理一个请求的 decode，换取更低的逐 token 延迟。

## 推荐理由

vLLM 与 TileRT 开始共用一套服务，把打包提吞吐与单请求降延迟两种路线放进同一编排，推理引擎按阶段分工的具体做法由此展开。

## 锐评

把 prefill 和 decode 拆给两个引擎，这个方向我认。vLLM 的强项本来就是 batch 吞吐，硬扛单请求 decode 的延迟不划算，TileRT 专做逐 token 那条路，分工比一个引擎全包合理。

官方博客里没有生产环境的数字，省多少延迟、多占多少卡都还不知道。真上生产要维护两套引擎加一层编排，运维成本先涨。我暂时不动，等有人把 P99 和 GPU 占用贴出来。
