# TIME 给 AI 爬虫看的是另一套网站，里面塞了人看不到的广告

> 原标题：TIME Is Serving AI Bots a Different Website, with Ads Built In

- 来源：Hacker News 首页
- 发布时间：2026-08-05T12:41:47.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/48881
- 原文：https://www.vincentschmalbach.com/time-serves-ai-bots-a-different-website/

## 摘要

TIME 会根据来访者的身份返回不同页面。普通人用浏览器看到的是完整的杂志网页，但 ClaudeBot、PerplexityBot 和 OAI-SearchBot 这些 AI 爬虫拿到的是一份只有 13KB 的纯文本 Markdown，体积是原网页的 1/23。

## 推荐理由

TIME 对 ClaudeBot 等 AI 爬虫返回 13KB 的纯文本 Markdown，体积只有人类网页的 1/23，其中还夹带赞助内容，这条实测展示了同一网址按来访者身份分发不同版本的做法。

## 锐评

TIME 给爬虫单独发一份 13KB 的 Markdown，里面塞了人看不到的赞助内容，这个操作挺离谱。爬虫拿到的内容只有人看到的 1/23，广告却照塞，AI 搜索在它眼里就是个没人监管的广告位。做 agent 的得注意，抓回来的内容跟用户看到的可能完全不是一回事，RAG 的输入质量直接受影响。反正我以后对爬虫拿到的页面会多留个心眼，不默认它跟人看到的一样。
