# AI 爬虫用最蠢的方式狂刷 git.kernel.org，每天 600 万次请求，98% 是废料

> 原标题：Creepy Crawlies

- 来源：Hacker News 首页
- 发布时间：2026-08-29T17:49:01.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/53699
- 原文：https://people.kernel.org/monsieuricon/creepy-crawlies

## 摘要

Konstantin Ryabitsev 给了硬数据：git.kernel.org 每天收到 600 万次请求，98% 来自 AI 爬虫。这些爬虫不直接克隆仓库，而是把每个提交渲染成 HTML 再抓取，光 linux.git 的 922 个分支就能生成几十亿个有效网址，抓回来的却是 148 万次提交的重复内容。

## 推荐理由

Konstantin Ryabitsev 披露 git.kernel.org 每天收到 600 万次请求，其中 98% 来自 AI 爬虫，它们把每个提交渲染成 HTML 抓取，linux.git 的 922 个分支能生成几十亿个有效网址。

## 锐评

600 万次请求里 98% 是废料，这个比例比数字本身更说明问题。爬虫不 clone 仓库，偏要把每个 commit 渲染成 HTML 再抓，linux.git 922 个分支能生成几十亿个网址，抓回来全是同一批提交的重复内容。14 个 CPU 核 24 小时就耗在给爬虫渲染页面上，这笔账最后是开源基础设施自己掏。我的评价是这些爬虫的抓取策略烂得离谱，clone 一次就完事的东西非要绕远路，还绕得这么贵。
