# 有人整理了一份1030亿token的Usenet语料，覆盖1980到2013年，全是真人发言、没有AI污染

> 原标题：I built a 103B-token Usenet corpus (1980–2013) — pre-web, human-only, zero AI contamination. Got strong traction on r/ML, thought this community would find it useful.

- 来源：r/LocalLLaMA
- 发布时间：2026-05-27T20:23:41.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/28798
- 原文：https://www.reddit.com/r/LocalLLaMA/comments/1tphhqk/i_built_a_103btoken_usenet_corpus_19802013_preweb/

## 摘要

一个叫OwnerByDane的用户放出了一套从Usenet新闻组扒下来的语料，总规模1031亿token，包含4.08亿条帖子，横跨18347个新闻组，时间从1980年一直拉到2013年。这套数据最大的卖点是“前互联网时代、纯人类产出、零AI生成内容”，对想避开模型训练数据被AI输出污染的开发者来说，算是个稀缺资源。

## 推荐理由

这套语料含1031亿token、4.08亿条帖子，时间跨度从1980年到2013年，全部来自Usenet真人发言，为需要避开AI生成内容的研究者提供了前互联网时代的原始文本。

## 锐评

1030 亿 token 的纯人类发言，这个体量放在今天不算大，但“零 AI 污染”这个标签现在确实稀缺。往后几年，想找一段没被模型输出泡过的干净文本会越来越难，1980 到 2013 这三十多年的真人对话，用来做微调或者研究语言变化都挺合适。

问题是完整语料要授权才拿得到，条款没公开，Reddit 上也没人跑过 benchmark。作者自己拿它微调了 Gemma，至少证明能用，但授权费要是开得离谱，这套东西对大多数人就只是个新闻。
