DFlash 2 让并行猜词更聪明:每次验证多出 20% 以上有效输出,延迟只增加约 1%
DFlash 2: Keep Drafting Parallel
Inco AI 发布了 DFlash 2,在原来一次性并行猜出整段候选词的基础上,加了一个轻量的路径选择器。DFlash 原本是每个位置独立挑最可能的词,但词与词之间可能不连贯,导致验证时整段被砍掉。DFlash 2 的做法是每个位置保留前 16 个候选,然后给相邻词对打分,从中挑出一条最连贯的路径。在 Qwen3.8-27B 上实测,每次验证通过的有...
推荐理由:DFlash 2 是对已有推理加速方法的明确改进,有实测数据,不是空谈。分数没给更高是因为这只是一篇技术博客,不是模型发布或产品上线,影响面集中在推理栈圈子。