OpenBMB 放出两个开源数据集,预训练语料和 SFT 样本都给了,HuggingFace 趋势榜第一
OpenBMB发布UltraData两大开源数据集,登顶HuggingFace趋势榜
OpenBMB 跟清华 NLP、Modelbest 一起发了两个数据集,都挂在 HuggingFace 上。一个是 Ultra-FineWeb-L3,给预训练用的合成数据,总量超过 600B token,其中英文 400B+、中文 200B+,是目前最大的开源中文预训练合成数据集。
推荐理由:OpenBMB 联合清华 NLP 与 Modelbest 开源 Ultra-FineWeb-L3 等两个数据集,其中文预训练合成数据超 200B token,为中文预训练和指令微调补充了可直接取用的语料与样本。