Cloudflare 默认拦截 AI 爬虫,你的智能体读到的可能是假页面
Show HN: We beat Cloudflare's bot detection (open-source stealth browser)
从 2025 年 7 月 1 日起,Cloudflare 对新域名默认开启 AI 爬虫拦截。更麻烦的是,被拦下来的请求会返回一个 403 状态码,但带着完整的网页内容——就是那个“稍等片刻”的验证页面。语言模型会把这当成真实内容,自信地总结出根本不存在的答案。
推荐理由:Cloudflare 对新域名默认拦截 AI 爬虫后,被拦请求会返回带完整验证页的 403,语言模型容易把拦截页当成正文,总结出并不存在的答案。