跳到正文
量子位 · 公众号

谷歌开源扩散文本模型 DiffusionGemma,生成速度比自回归模型快 4 倍

Mythos阴影里谷歌悄悄发模型,速度暴涨4倍

谷歌把生成图片的扩散模型思路搬到了文字生成上,开源了 DiffusionGemma。它不像传统模型那样一个字一个字往外蹦,而是一次铺开 256 个 token 的“画布”,从噪声开始多轮去噪,整段文字同时浮现。在 H100 上跑到每秒 1000+ token,消费级 RTX 5090 上也有 700+,比同规格自回归模型快了约 4 倍。

推荐理由:谷歌开源 DiffusionGemma,把扩散模型一次去噪整段文字的思路用于文本生成,在 H100 和 RTX 5090 上分别跑到每秒 1000+ 和 700+ token,约为同规格自回归模型的 4 倍。

读原文 ↗导出 Markdown