跳到正文
Computing Life · Share · 鸭哥调研

vLLM 和 TileRT 开始共用一套服务,推理引擎从“谁跑得快”转向“该走哪条路”

vLLM x TileRT:两个目标相反的推理引擎,为什么开始共用一套服务

vLLM 擅长把多个请求打包一起算,提高整体吞吐;TileRT 则专攻一次只处理一个请求的 decode,换取更低的逐 token 延迟。

推荐理由:vLLM 与 TileRT 开始共用一套服务,把打包提吞吐与单请求降延迟两种路线放进同一编排,推理引擎按阶段分工的具体做法由此展开。

读原文 ↗导出 Markdown