# Cloudflare 把 AI 爬虫拆成搜索、干活、训练三类，网站主可以按用途放行或收费

> 原标题：Cloudflare 推出全新AI流量管理选项：区分搜索、智能体与训练爬虫，保护广告页面

- 来源：AI HOT 精选
- 发布时间：2026-07-01T13:00:00.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/41718
- 原文：https://blog.cloudflare.com/content-independence-day-ai-options

## 摘要

Cloudflare 去年搞了个一键屏蔽 AI 爬虫的功能，今年更进一步，把自动流量分成三种：搜索类（建索引、应该给网站带回流量）、智能体类（替用户实时办事，比如 ChatGPT-User 或浏览器操控工具）、训练类（抓数据去训模型）。这么分是想解决小网站的困境——屏蔽爬虫怕没人搜得到，不屏蔽又等于免费给人练模型。Cloudflare 呼吁爬虫运营方按...

## 推荐理由

Cloudflare 把去年的一键屏蔽升级成了三档分类管理：建索引的搜索爬虫、替用户实时办事的智能体爬虫、抓数据训模型的训练爬虫。这个分法很实际，因为小网站最怕的就是流量被薅走还换不回一点曝光。文章没给出具体误判率或分类准确度数据，实际效果得看上线后的反馈。我会先打个折，这属于工具层面的实用更新，不是模型或协议突破，但对内容站运营者来说，比很多论文都解渴。

## 锐评

Cloudflare 这次更新的核心是把自动流量拆成三种用途：帮你引流的搜索爬虫、替用户实时办事的智能体（比如浏览器操控工具或 ChatGPT-User）、以及抓数据去训模型的训练爬虫。这个分类解决了一个很现实的矛盾：小网站不拦爬虫怕被白嫖训练数据，拦了又怕搜索引擎搜不到。现在可以只放搜索、拦训练，理论上能保住流量入口又不当免费数据源。

不过正文没写新功能什么时候上线、要不要额外付费，也没给出识别这三类爬虫的具体技术标准。Cloudflare 呼吁爬虫运营方自己标明身份和用途，但这得看对方配不配合——如果对方不老实标注，分类的准确度会打折扣。另外，智能体类流量目前定义还比较模糊，实际执行中会不会误伤正常工具，也需要看后续的规则细节。