跳到正文
Hacker News 首页

AI 爬虫用最蠢的方式狂刷 git.kernel.org,每天 600 万次请求,98% 是废料

Creepy Crawlies

Konstantin Ryabitsev 给了硬数据:git.kernel.org 每天收到 600 万次请求,98% 来自 AI 爬虫。这些爬虫不直接克隆仓库,而是把每个提交渲染成 HTML 再抓取,光 linux.git 的 922 个分支就能生成几十亿个有效网址,抓回来的却是 148 万次提交的重复内容。

推荐理由:Konstantin Ryabitsev 披露 git.kernel.org 每天收到 600 万次请求,其中 98% 来自 AI 爬虫,它们把每个提交渲染成 HTML 抓取,linux.git 的 922 个分支能生成几十亿个有效网址。

读原文 ↗导出 Markdown