你的 robots.txt 是 2023 年的战争纪念碑——多数网站无视了实时回答机器人
Sites that block AI training crawlers mostly ignore the answer time bots
Sitedex 扫描了前一万名网站的 robots.txt 文件。能确定写入日期的 GPTBot 屏蔽规则里,有 38% 集中在 2023 年第四季度,也就是 GPTBot 上线和纽约时报起诉 OpenAI 之后。87% 的网站后来都加过新规则,但几乎全是针对训练爬虫。
推荐理由:Sitedex 扫描前一万名网站的爬虫规则,发现网站对训练爬虫与实时回答机器人的屏蔽覆盖存在明显差异。