Nari Labs 把 Qwen3-TTS 的首音延迟压到 50 毫秒以内,一张 H100 就能跑 10 并发
How We Made a Text-to-Speech Model Respond in Sub-50 ms
Nari Labs 开源了一套 Qwen3-TTS 1.7B 的部署方案,在一张 H100 上做到 10 并发请求时,95% 的用户听到第一个字的时间不超过 50 毫秒,且播放不卡顿。他们对比了 vLLM-Omni、SGLang-Omni 等四个引擎,默认设置下最快的 p95 首音延迟也要 277 毫秒。
推荐理由:Nari Labs 开源 Qwen3-TTS 1.7B 部署方案,单张 H100 在 10 并发下把 p95 首音延迟压到 50 毫秒内,并对比了四个引擎的默认表现。