跳到正文
AI HOT 精选

SGLang 接入 DSpark 推测解码:让草稿模型自己决定每次验证几个 token

SGLang 集成 DSpark 推测解码:置信度驱动的可变长度验证

LMSYS 把 DSpark 推测解码做进了 SGLang 推理引擎。和以前固定验证一整块 token 不同,DSpark 的草稿模型自带一个“信心打分器”,能算出每个 token 被主模型接受的概率,调度器再根据这个分数动态决定每轮实际验证几个 token——分数低的请求就少验几个,省下算力。

推荐理由:LMSYS 将 DSpark 接入 SGLang,按草稿模型的置信度缩短低接受概率请求的验证长度以节省算力。

读原文 ↗导出 Markdown