# Cloudflare 把 AI 爬虫拆成搜索、干活、训练三类，网站主可以按用途放行或收费

> 原标题：Cloudflare 推出全新AI流量管理选项：区分搜索、智能体与训练爬虫，保护广告页面

- 来源：AI HOT 精选
- 发布时间：2026-07-01T13:00:00.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/41718
- 原文：https://blog.cloudflare.com/content-independence-day-ai-options

## 摘要

Cloudflare 去年搞了个一键屏蔽 AI 爬虫的功能，今年更进一步，把自动流量分成三种：搜索类（建索引、应该给网站带回流量）、智能体类（替用户实时办事，比如 ChatGPT-User 或浏览器操控工具）、训练类（抓数据去训模型）。这么分是想解决小网站的困境——屏蔽爬虫怕没人搜得到，不屏蔽又等于免费给人练模型。

## 推荐理由

Cloudflare 将 AI 爬虫按搜索、智能体、训练三类拆分，网站主可针对不同用途分别放行或收费，这为小站权衡被抓取与换取曝光提供了新的管理方式。

## 锐评

把爬虫按用途拆开收费，这个方向对，但 Cloudflare 自己就是那个能决定谁算搜索谁算训练的人。小站主最怕屏蔽了没人搜得到，不屏蔽等于白送数据，现在多一个收费选项，至少能跟训练爬虫谈价。分类准确度没数据，误判一次就是把正常搜索流量也拦了，损失比被薅数据还直接。我倾向于先看它怎么处理 ChatGPT-User 这种既替用户办事又顺带抓内容的模糊流量，这类最难分。
