NVIDIA 把自回归、扩散和自我推测解码塞进同一个模型:Nemotron-Labs-Diffusion
Nemotron-Labs-Diffusion:统一自回归、扩散与自我推测解码的三模式语言模型
NVIDIA 这篇论文放出了一个叫 Nemotron-Labs-Diffusion 的模型,一个模型里集成了三种生成方式:逐 token 预测(自回归)、一次性去噪生成整段(扩散),以及让扩散先打草稿、自回归再校验的“自我推测”模式。训练时用了自回归和扩散的联合目标,扩散负责往前多看几步做规划,自回归提供从左到右的语言先验,两者互补。
推荐理由:NVIDIA通过联合训练结合扩散的多步规划与自回归的语言先验,让扩散起草和自回归校验在同一个模型内配合。