Cloudflare 给 AI 公司下了最后通牒:9 月 15 日前把搜索爬虫和 AI 爬虫分开,否则默认屏蔽
Cloudflare’s new policy pushes AI companies to pay for publishers’ content
Cloudflare 宣布从 2026 年 9 月 15 日起,会在所有带广告的页面上默认屏蔽“混合用途”爬虫——也就是那些既给搜索引擎用、又给 AI 训练和 AI 代理(让模型进业务流程干活)用的爬虫。这个默认屏蔽会覆盖新客户、老客户新开的站点,以及所有免费用户。
推荐理由:Cloudflare 宣布自 2026 年 9 月 15 日起在带广告页面默认屏蔽混合用途爬虫,覆盖新客户、老客户新开站点和免费用户,把 AI 训练数据付费争议落到基础设施层的默认规则上。