Cloudflare 把 AI 爬虫拆成搜索、干活、训练三类，网站主可以按用途放行或收费

Cloudflare 推出全新AI流量管理选项：区分搜索、智能体与训练爬虫，保护广告页面

Cloudflare 去年搞了个一键屏蔽 AI 爬虫的功能，今年更进一步，把自动流量分成三种：搜索类（建索引、应该给网站带回流量）、智能体类（替用户实时办事，比如 ChatGPT-User 或浏览器操控工具）、训练类（抓数据去训模型）。这么分是想解决小网站的困境——屏蔽爬虫怕没人搜得到，不屏蔽又等于免费给人练模型。Cloudflare 呼吁爬虫运营方按...

推荐理由：Cloudflare 把去年的一键屏蔽升级成了三档分类管理：建索引的搜索爬虫、替用户实时办事的智能体爬虫、抓数据训模型的训练爬虫。这个分法很实际，因为小网站最怕的就是流量被薅走还换不回一点曝光。文章没给出具体误判率或分类准确度数据，实际效果得看上线后的反馈。我会先打个折，这属于工具层面的实用更新，不是模型或协议突破，但对内容站运营者来说，比很多论文都解渴。