# OpenBMB 放出两个开源数据集，预训练语料和 SFT 样本都给了，HuggingFace 趋势榜第一

> 原标题：OpenBMB发布UltraData两大开源数据集，登顶HuggingFace趋势榜

- 来源：AI HOT 精选
- 发布时间：2026-06-01T13:01:24.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/31612
- 原文：https://x.com/OpenBMB/status/2061432928492810535

## 摘要

OpenBMB 跟清华 NLP、Modelbest 一起发了两个数据集，都挂在 HuggingFace 上。一个是 Ultra-FineWeb-L3，给预训练用的合成数据，总量超过 600B token，其中英文 400B+、中文 200B+，是目前最大的开源中文预训练合成数据集。

## 推荐理由

OpenBMB 联合清华 NLP 与 Modelbest 开源 Ultra-FineWeb-L3 等两个数据集，其中文预训练合成数据超 200B token，为中文预训练和指令微调补充了可直接取用的语料与样本。

## 锐评

600B token 的中文合成预训练数据，这个体量对做中文基座的人是实打实的弹药，尤其 200B+ 中文那部分，以前开源里基本找不到同量级的。冲上 HuggingFace 趋势榜，需求是真的。

合成数据去重和清洗没做好就是给模型喂垃圾，600B 里有多少能进训练集得自己筛一遍才知道。许可证也没写清楚，商用前先确认。反正我会先下下来跑个小模型看看 loss 曲线，再决定要不要上。
