谷歌开源 26B 文本扩散 MoE 模型 DiffusionGemma，推理时只激活 3.8B 参数，一次生成 256 个 token

谷歌开源26B文本扩散MoE，劈柴：生成速度像赛马一样快

谷歌发了一个实验性的开源模型 DiffusionGemma，用的是 Apache 2.0 协议。它不走自回归模型逐 token 生成的路线，而是一次性起草 256 个 token 的文本块，把解码瓶颈从内存带宽转向了计算本身。在单张 H100 上能跑到每秒 1000+ token，比自回归模型快最多 4 倍。模型总规模 26B，但推理时只激活 3.8B...

推荐理由：谷歌开源了一个 26B 的文本扩散模型，跳过自回归解码，推理只激活 3.8B 参数，单张 H100 跑到每秒 1000+ token。Apache 2.0 协议，有具体的速度对比和机制说明，对做推理优化的人有直接参考价值。不是公关稿，数字和做法都给了，值得放进精选。