Cloudflare 让网站既能被搜索引擎收录，又能挡住 AI 训练爬虫

Stay discoverable in search while disallowing AI training

Cloudflare 在后台加了一个新开关，专门解决一个两难问题：网站想被 Google、Bing 搜到，但不想让 OpenAI、Anthropic 这些公司把内容拿去训练模型。他们把这类既做搜索又做训练的爬虫叫“可问责的混合用途 AI 爬虫”，听起来绕，其实就是承认有些爬虫身兼两职。现在站长可以在控制面板里一键允许搜索用途、拒绝训练用途。功能已经上线...