Skip to content
AI HOT · Products

SGLang 发布 Low-Latency Mode,通过插件框架降低 NVIDIA 和 AMD GPU 推理延迟

SGLang 发布 Low-Latency Mode,通过插件框架在 NVIDIA 和 AMD GPU 上降低推理延迟

SGLang 推出 Low-Latency Mode,通过插件框架将专用 kernel 引入 SGLang,在 NVIDIA 和 AMD GPU 上显著降低推理延迟。

Read the original ↗Export Markdown