SGLang 接入 DSpark 推测解码:让草稿模型自己决定每次验证几个 token
SGLang 集成 DSpark 推测解码:置信度驱动的可变长度验证
LMSYS 把 DSpark 推测解码做进了 SGLang 推理引擎。和以前固定验证一整块 token 不同,DSpark 的草稿模型自带一个“信心打分器”,能算出每个 token 被主模型接受的概率,调度器再根据这个分数动态决定每轮实际验证几个 token——分数低的请求就少验几个,省下算力。在 H200 上跑 DeepSeek-V4-Flash,这...
推荐理由:LMSYS 把 DSpark 做进了 SGLang,还给了 H200 上的实测数字,不是论文预告而是引擎级落地。硬核和知识增量都够,但话题局限在推理加速,圈外人无感,所以 R 没给,分数卡在 featured 门槛 78 分。