SpecForge v0.3 发布:把草稿模型训练从主模型上拆下来,还带了一批开源草稿模型
SpecForge v0.3.0 发布:统一解耦与共置投机解码栈,新增开放 SpecBundle 草稿模型
LMSYS 把 SpecForge 的训练流程拆成了两拨独立资源:打补丁的 SGLang 服务器负责从目标模型抓特征,Mooncake 负责传数据,训练节点只管吃特征训练草稿模型。在 8 张 H20 的测试环境里,3 台服务器加 5 个训练节点的吞吐比之前绑在一起的方案高了约 10%。这次更新还一口气支持了 EAGLE3、DFlash、Domino、D...
推荐理由:LMSYS 这次把 SpecForge 的训练流程拆成了三块独立资源——抓特征、传数据、训草稿模型——在 8 张 H20 上跑出了约 10% 的吞吐提升,数字和架构都实在。但话题本身太底层,只对做推理优化的那拨人有直接价值,所以给了 featured 但没给 r。