# 你的 robots.txt 是 2023 年的战争纪念碑——多数网站无视了实时回答机器人

> 原标题：Sites that block AI training crawlers mostly ignore the answer time bots

- 来源：Hacker News 首页
- 发布时间：2026-07-07T15:52:48.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/42948
- 原文：https://sitedex.dev/insights/robots-txt-2023-war-memorial

## 摘要

Sitedex 扫描了前一万名网站的 robots.txt 文件。能确定写入日期的 GPTBot 屏蔽规则里，有 38% 集中在 2023 年第四季度，也就是 GPTBot 上线和纽约时报起诉 OpenAI 之后。87% 的网站后来都加过新规则，但几乎全是针对训练爬虫。

## 推荐理由

Sitedex 扫描前一万名网站的爬虫规则，发现网站对训练爬虫与实时回答机器人的屏蔽覆盖存在明显差异。

## 锐评

38% 的 GPTBot 屏蔽规则挤在 2023 年 Q4，那波就是跟着纽约时报起诉的情绪走的，封的是训练爬虫。回答时来抓内容的机器人，几乎没人管。站长们防的是白嫖训练，可回答型爬虫每次都在实时偷内容，还不用付一分钱，这才是当下更疼的口子。robots.txt 本来就是君子协定，2023 年那批规则今天看更像立了个碑，实际拦不住谁。
