跳到正文
AI HOT 精选

SpecForge v0.3 发布:把草稿模型训练从主模型上拆下来,还带了一批开源草稿模型

SpecForge v0.3.0 发布:统一解耦与共置投机解码栈,新增开放 SpecBundle 草稿模型

LMSYS 把 SpecForge 的训练流程拆成了两拨独立资源:打补丁的 SGLang 服务器负责从目标模型抓特征,Mooncake 负责传数据,训练节点只管吃特征训练草稿模型。在 8 张 H20 的测试环境里,3 台服务器加 5 个训练节点的吞吐比之前绑在一起的方案高了约 10%。

推荐理由:LMSYS 将 SpecForge 的草稿模型训练拆成抓特征、传数据和训练三拨独立资源,在 8 张 H20 上吞吐比原先绑在一起的方案高约 10%。

读原文 ↗导出 Markdown