DiffusionGemma 技术报告:用离散扩散一次生成 256 个 token,单卡跑到每秒 1500 token
DiffusionGemma Technical Report
Google 放出了一个实验性的开源模型 DiffusionGemma,它不按传统方式一个字一个字往外蹦,而是每次并行处理并逐步修正一个 256 个 token 的文本块。这带来一个直接好处:在单张 H100 上实测生成速度能达到每秒约 1500 个 token,比用了投机解码的常规自回归模型还快。
推荐理由:Google 开源的 DiffusionGemma 用离散扩散并行生成 256 个 token 的文本块,单张 H100 实测约每秒 1500 token,比采用投机解码的常规自回归模型更快。