# SGLang 搞了个“权重缓存守护进程”，让大模型引擎重启不到 1 秒

> 原标题：SGLang 推出 Weight Cache Daemon，实现亚秒级引擎重启

- 来源：AI HOT 精选
- 发布时间：2026-08-21T17:56:25.415Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/52096
- 原文：https://www.lmsys.org/blog/2026-08-21-sglang-fast-recovery

## 摘要

SGLang 发布了一个叫 Weight Cache Daemon 的新组件。它的思路很简单：把模型量化、切分好的权重直接留在 GPU 显存里，由一个常驻进程看管。当引擎需要重启时，新进程通过 CUDA IPC 直接“零拷贝”映射这些现成的权重，省掉了从硬盘重新读数据、反序列化、再量化的全套流程。

## 推荐理由

SGLang 把量化切分好的权重常驻显存，引擎重启时经 CUDA IPC 零拷贝映射，省去重新读取、反序列化和量化，重启进入亚秒级。

## 锐评

重启不到 1 秒这个数，对做推理部署的人是真金白银。权重留在显存里零拷贝映射，省掉的是读盘、反序列化、量化那一整套，Ling-2.6-1T 这种量级的模型，每次重启省下的时间够跑好几轮压测了。

代价是显存被常驻进程占着，本来能塞 batch 的空间少一块，值不值取决于你重启多频繁。反正 SGLang 这套东西一向是给自建集群的人用的，云上按卡计费的团队算一下账就知道该不该跟。
