Google 开源 DiffusionGemma：把 Gemma 4 改成扩散模型，解码飙到 1456 tok/s，但复杂推理掉分明显
Google 把训练好的 Gemma 4 26B-A4B 模型权重直接转成了离散多项式扩散模型，并在 Hugging Face 上开源。它不再从左到右逐个 token 写，而是在 256 个 token 的“画布”里通过多轮去噪并行生成。在单张 H100、FP8、单请求的纯解码测试中，速度达到每秒 1456 个 token，是原自回归模型的 7 倍多，...
推荐理由：Google 把训好的 Gemma 4 权重直接转成扩散模型开源了，不是从头训的，这点挺特别。它不再一个字一个字往外蹦，而是在 256 个 token 的“画布”里并行去噪生成，单张 H100 上纯解码跑到每秒 1456 个 token，是原版自回归模型的 7 倍多。代价是数学能力掉了一截，AIME 从 88.3 降到 69.1，正文没细说其他 benchmark 的跌幅，但至少给了推理工程师一个能算账的参考点。我会先打个折：这还只是单请求、FP8 的测试，真实并发和长文本下的表现还没看到，别急着下结论说扩散模型要替代自回归。