# SGLang 发布 Low-Latency Mode，通过插件框架降低 NVIDIA 和 AMD GPU 推理延迟

> 原标题：SGLang 发布 Low-Latency Mode，通过插件框架在 NVIDIA 和 AMD GPU 上降低推理延迟

- 来源：AI HOT · 产品
- 发布时间：2026-10-17T16:00:00.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/jufvr4e7h60gzxdlwuaxfbisw
- 原文：https://www.lmsys.org/blog/2026-10-18-sglang-low-latency-mode

## 摘要

SGLang 推出 Low-Latency Mode，通过插件框架将专用 kernel 引入 SGLang，在 NVIDIA 和 AMD GPU 上显著降低推理延迟。
