跳到正文
Computing Life · Share · 鸭哥调研

对话状态该由谁托管:SGLang 押注推理引擎的设计取舍

对话状态该放在谁那里:SGLang 把赌注押在了推理服务

SGLang 的统一交互运行时将推理引擎的基本单位从单次请求改为持续会话,以统一实时语音的轮次、打断和历史截断规则。分析指出,原生全双工更依赖引擎内的会话控制,级联架构主要获得接口与评测便利,前台语音加后台委派所需的异步任务能力尚未完成。状态常驻引擎会增加迁移成本,SGLang 目前不支持断线恢复,评估锁定风险还需检查会话接口的私有扩展及状态能否导出重建。

读原文 ↗导出 Markdown