你的 robots.txt 是 2023 年的战争纪念碑——多数网站无视了实时回答机器人

Sites that block AI training crawlers mostly ignore the answer time bots

Sitedex 扫描了前一万名网站的 robots.txt 文件。能确定写入日期的 GPTBot 屏蔽规则里，有 38% 集中在 2023 年第四季度，也就是 GPTBot 上线和纽约时报起诉 OpenAI 之后。87% 的网站后来都加过新规则，但几乎全是针对训练爬虫。Anthropic、OpenAI 和 Perplexity 各运行两个机器人：一个用...

推荐理由：文章用数据讲了一个很具体的漏洞：站长们忙着在 2023 年底封训练爬虫，却几乎没人管回答时来偷内容的机器人。观点有数据撑腰，也戳中了从业者的盲区。分数没上 80，是因为 Sitedex 本身不算顶级信源，而且正文没提供完整报告，没法核实数据深度。