# NVIDIA 把自回归、扩散和自我推测解码塞进同一个模型：Nemotron-Labs-Diffusion

> 原标题：Nemotron-Labs-Diffusion：统一自回归、扩散与自我推测解码的三模式语言模型

- 来源：AI HOT 精选
- 发布时间：2026-07-07T00:00:00.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/43008
- 原文：https://arxiv.org/abs/2607.05722

## 摘要

NVIDIA 这篇论文放出了一个叫 Nemotron-Labs-Diffusion 的模型，一个模型里集成了三种生成方式：逐 token 预测（自回归）、一次性去噪生成整段（扩散），以及让扩散先打草稿、自回归再校验的“自我推测”模式。训练时用了自回归和扩散的联合目标，扩散负责往前多看几步做规划，自回归提供从左到右的语言先验，两者互补。

## 推荐理由

NVIDIA通过联合训练结合扩散的多步规划与自回归的语言先验，让扩散起草和自回归校验在同一个模型内配合。

## 锐评

一个模型里塞三种生成方式，论文写得挺漂亮，但做 agent 的看完只会问一句，推理成本降了吗。扩散先打草稿、自回归再校验，这套自我推测听着像把投机解码换了个壳，真要省 token 得看草稿命中率，论文里没给这个数。NVIDIA 出这种架构论文，动机多半是给自家卡找新负载，扩散那部分并行去噪正好吃满算力。我的评价是想法可以，落地还早，现在能调用的 API 都没有。
