# 机器人跑了三十年，现在终于要查证件了

> 原标题：机器人三十年不查证件，为什么现在开始查了

- 来源：Computing Life · Share · 鸭哥调研
- 发布时间：2026-09-08T00:00:00.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/55658
- 原文：https://yage.ai/share/robot-access-regime-20260908.html

## 摘要

Cloudflare 在 8 月 28 日上线了 BotBase for Operators，让爬虫团队能主动登记身份、走审核流程。这件事反常的地方在于：机器流量已经占到全网 57.4%，但过去三十年靠的只是一份自愿遵守的 robots.txt。旧规则能跑通，是因为三个前提：搜索引擎抓内容会送回流量、误伤机器人的代价很低、识别爬虫只看 User-Age...

## 推荐理由

这篇文章不是产品公关稿，而是把 BotBase 放进三十年机器人治理的框架里讲，解释了为什么现在必须从自愿遵守转向主动审核。观点有洞察，但属于行业分析而非硬新闻，所以分数落在 78 分这一档。没给更高是因为正文没有其他信源交叉验证，属于单篇深度解读。

## 锐评

Cloudflare 上线 BotBase，让爬虫团队主动登记身份走审核，这件事标志着机器流量管理从“自觉遵守”转向“申报核验”。过去三十年，robots.txt 能跑通，靠的是搜索引擎抓内容会送回流量、误伤代价低、识别成本低这三个前提。但 AI 智能体把这三个前提全拆了：大模型爬虫只抓内容不给回流（Anthropic 的爬虫每抓 70,900 页才带回一个访客），代理用户办事的智能体不能一刀切拦截，真实浏览器环境又让静态指纹识别失效。所以只能要求机器人主动亮明身份并用密码学签名验证。

现在正在组装一套四层架构：Web Bot Auth 签名、申报用途、登记审核、平台默认值。前三层都是自愿的，只有第四层有强制力。Cloudflare 服务了全网 24.3% 的网站，它掌握着默认开关、验证管道和目录，实际上代理了站长的防守意志。但体系有明显缺口：Web Bot Auth 在 IETF 还没有正式文档，OpenAI 和 Google 的签名格式已经出现代际冲突；拒绝登记的爬虫、私下的双边授权协议、基于 API 的中间商，都游离在这套系统之外。说到底，这依然是个荣誉体系，真正的牙齿只长在平台默认拦截那一层。