Sumi:从头训练的 7B 开源均匀扩散语言模型
Sumi:从头训练的7B开源均匀扩散语言模型
Sumi 是第一个从零开始、用 1.5 万亿 token 预训练出来的 7B 参数均匀扩散语言模型。均匀扩散的意思是,模型在生成文本时每一步都可以修改任意位置的词,不像传统模型只能从左往右写,理论上更灵活。团队把模型权重、训练检查点和完整配方全公开了,包括用了哪些公开数据集、怎么混合的。
推荐理由:Sumi 团队从零预训练出 7B 均匀扩散语言模型,生成时每步可改任意位置词,并公开权重、检查点和完整数据配方。