有人整理了一份1030亿token的Usenet语料,覆盖1980到2013年,全是真人发言、没有AI污染
I built a 103B-token Usenet corpus (1980–2013) — pre-web, human-only, zero AI contamination. Got strong traction on r/ML, thought this community would find it useful.
一个叫OwnerByDane的用户放出了一套从Usenet新闻组扒下来的语料,总规模1031亿token,包含4.08亿条帖子,横跨18347个新闻组,时间从1980年一直拉到2013年。这套数据最大的卖点是“前互联网时代、纯人类产出、零AI生成内容”,对想避开模型训练数据被AI输出污染的开发者来说,算是个稀缺资源。
推荐理由:这套语料含1031亿token、4.08亿条帖子,时间跨度从1980年到2013年,全部来自Usenet真人发言,为需要避开AI生成内容的研究者提供了前互联网时代的原始文本。