SGLang 搞了个“权重缓存守护进程”,让大模型引擎重启不到 1 秒
SGLang 推出 Weight Cache Daemon,实现亚秒级引擎重启
SGLang 发布了一个叫 Weight Cache Daemon 的新组件。它的思路很简单:把模型量化、切分好的权重直接留在 GPU 显存里,由一个常驻进程看管。当引擎需要重启时,新进程通过 CUDA IPC 直接“零拷贝”映射这些现成的权重,省掉了从硬盘重新读数据、反序列化、再量化的全套流程。
推荐理由:SGLang 把量化切分好的权重常驻显存,引擎重启时经 CUDA IPC 零拷贝映射,省去重新读取、反序列化和量化,重启进入亚秒级。