跳到正文
AI HOT 精选

Cloudflare 把 AI 爬虫拆成搜索、干活、训练三类,网站主可以按用途放行或收费

Cloudflare 推出全新AI流量管理选项:区分搜索、智能体与训练爬虫,保护广告页面

Cloudflare 去年搞了个一键屏蔽 AI 爬虫的功能,今年更进一步,把自动流量分成三种:搜索类(建索引、应该给网站带回流量)、智能体类(替用户实时办事,比如 ChatGPT-User 或浏览器操控工具)、训练类(抓数据去训模型)。这么分是想解决小网站的困境——屏蔽爬虫怕没人搜得到,不屏蔽又等于免费给人练模型。

推荐理由:Cloudflare 将 AI 爬虫按搜索、智能体、训练三类拆分,网站主可针对不同用途分别放行或收费,这为小站权衡被抓取与换取曝光提供了新的管理方式。

读原文 ↗导出 Markdown