# AI 评测基准饱和了怎么办？这篇 ICML 论文系统研究了 60 个基准的失效规律

> 原标题：When AI Benchmarks Plateau: A Systematic Study of Benchmark Saturation

- 来源：Hacker News 首页
- 发布时间：2026-08-04T16:10:39.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/48676
- 原文：https://arxiv.org/abs/2602.16763

## 摘要

这篇被 ICML 2026 接收的论文给“基准饱和”下了个明确定义，然后拿 60 个语言模型评测基准开刀。结论挺直接：将近一半的基准已经饱和了，也就是模型分数快刷到顶，拉不开差距了。越老的基准饱和得越快。有个反直觉的发现——把测试数据藏起来并不能延缓饱和，真正管用的是找专家来精心出题。

## 推荐理由

这篇 ICML 论文系统分析了 60 个语言模型评测基准，发现近一半已饱和，并指出隐藏测试数据无法延缓饱和，有效做法是请专家精心出题。

## 锐评

近一半基准饱和，这个比例我信，但论文里最有用的一句是藏测试集没用。榜单刷到顶之后，大家第一反应都是把题藏起来，结果模型该会还是会，藏题只是让分数涨得慢一点，没改变结局。能拉开差距的是专家现出的新题，成本高，出题速度还赶不上模型迭代。看榜单的人别太当真，一个基准发布两年基本就只剩参考价值。做评测的预算该往出题的人身上砸，不是往防泄漏上砸。
