# 基准测试末日：LLM 让刷榜作弊变得毫无门槛

> 原标题：The Benchmarkpocalypse

- 来源：Hacker News 首页
- 发布时间：2026-08-18T02:11:02.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/51315
- 原文：https://danluu.com/benchpocalypse/

## 摘要

Dan Luu 让一个 AI 编程代理循环跑了一个月，自动生成了一个正则引擎 FRE。在 rebar 基准测试上，它比 Rust 的正则库快了 40%，但换到 ripgrep 的真实留存测试集上，速度慢了 10 倍，有些用例甚至跑到算不动。他点出一个现状：以前需要顶尖工程师花大量精力才能找到的基准测试漏洞，现在跟 LLM 聊几句就能搞定。

## 推荐理由

Dan Luu 让 AI 代理循环跑一个月生成的正则引擎，在 rebar 基准上比 Rust 正则库快 40%，换到 ripgrep 真实测试集却慢 10 倍，基准测试与真实场景的落差由此有了具体数字。

## 锐评

基准测试刷榜这事，以前是顶尖工程师花几个月才能找到的漏洞，现在跟 LLM 聊几句就出来了，门槛直接归零。Dan Luu 那个代理跑一个月，rebar 上比 Rust 正则库快 40%，换到 ripgrep 真实测试集慢 10 倍，有的用例直接算不动。40% 和 10 倍摆一起，rebar 这个 benchmark 本身已经没什么参考价值了。以后看宣传分数，先问这个 benchmark 是谁挑的、测试集跟真实场景差多远，不然就是拿一个月的算力换一个好看的数字。
