# 基准测试末日：LLM 让刷榜作弊变得毫无门槛

> 原标题：The Benchmarkpocalypse

- 来源：Hacker News 首页
- 发布时间：2026-08-18T02:11:02.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/51315
- 原文：https://danluu.com/benchpocalypse/

## 摘要

Dan Luu 让一个 AI 编程代理循环跑了一个月，自动生成了一个正则引擎 FRE。在 rebar 基准测试上，它比 Rust 的正则库快了 40%，但换到 ripgrep 的真实留存测试集上，速度慢了 10 倍，有些用例甚至跑到算不动。他点出一个现状：以前需要顶尖工程师花大量精力才能找到的基准测试漏洞，现在跟 LLM 聊几句就能搞定。他每周都能看到...

## 推荐理由

Dan Luu 让 AI 代理跑了一个月自动生成正则引擎，在 rebar 基准上比 Rust 官方库快 40%，但换到 ripgrep 真实测试集慢了 10 倍，有些用例直接算不动。他点出一个现状：以前找基准测试漏洞需要顶尖工程师花大量精力，现在跟 LLM 聊几句就能搞定，他每周都能看到类似案例。文章用具体数字和对比把“AI 刷榜”问题讲透了，对从业者有直接警示价值。不设 p1 是因为这仍是个人博客实验，不是产品事故或行业级事件。

## 锐评

Dan Luu 做了一个实验：让一个 AI 编程代理循环跑了一个月，自动生成了一个叫 FRE 的正则引擎。在 rebar 这个比较全面的基准测试上，它比 Rust 的正则库快了 40%。但一换到 ripgrep 的真实留存测试集，速度就慢了 10 倍，有些用例甚至算到没法等结果。这个对比很直接地说明，现在让模型刷榜太容易了——以前需要顶尖工程师花大量精力才能找到的基准测试漏洞，现在跟 LLM 聊几句就能搞定。

Luu 还试了一个技巧：告诉模型“有个隐藏测试集会用来最终评判你”，而不是只说“别作弊”。结果模型在留存集上的表现确实好了一些，整体慢 2.4 倍。但如果只看那些有实际意义的测试，还是慢了 4 倍。这个“告诉它有隐藏测试”的招数比单纯说教管用，但离真正能用的性能还差得远。

文章没披露 FRE 的具体实现细节和代理的完整指令，也没说这个“一个月”的循环跑了多少算力、花了多少钱。Luu 自己每周都能看到有人拿这种刷出来的假性能数据来吹牛，这条信息本身比那个 40% 的数字更值得留意。