# Sumi：从头训练的 7B 开源均匀扩散语言模型

> 原标题：Sumi：从头训练的7B开源均匀扩散语言模型

- 来源：AI HOT 精选
- 发布时间：2026-06-17T00:00:00.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/39008
- 原文：https://arxiv.org/abs/2606.19005

## 摘要

Sumi 是第一个从零开始、用 1.5 万亿 token 预训练出来的 7B 参数均匀扩散语言模型。均匀扩散的意思是，模型在生成文本时每一步都可以修改任意位置的词，不像传统模型只能从左往右写，理论上更灵活。团队把模型权重、训练检查点和完整配方全公开了，包括用了哪些公开数据集、怎么混合的。

## 推荐理由

Sumi 团队从零预训练出 7B 均匀扩散语言模型，生成时每步可改任意位置词，并公开权重、检查点和完整数据配方。

## 锐评

从头训一个 7B 均匀扩散模型，1.5 万亿 token，权重和配方全公开，这个成本是实打实的，跟拿开源权重微调一下发个报告完全两码事。均匀扩散每步能改任意位置，理论上比从左往右写灵活，但落地时推理步数和延迟是绕不过去的账，这块没数就没法判断能不能真用。我的评价是当研究资产看挺值，当生产模型看还早。反正敢在自回归之外砸这个量级的资源，比又一版微调有意思。
