跳到正文
r/LocalLLaMA

Domino:把推测解码里的因果建模和自回归起草拆开,Qwen3 吞吐最高提 5.8 倍

Domino: Decoupling Causal Modeling from Autoregressive Drafting in Speculative Decoding

这篇论文提出 Domino,把推测解码(让一个小模型先快速起草、大模型再校验)里的两个步骤拆得更干净:因果建模和自回归起草不再绑在一起跑。在 Qwen3 上测出了最高 5.8 倍的吞吐提升。

推荐理由:这篇论文提出 Domino,把推测解码中的因果建模与自回归起草拆开,在 Qwen3 上测出最高 5.8 倍吞吐提升,为推理优化提供了一种可迁移的拆分思路。

读原文 ↗导出 Markdown