AI 评测基准饱和了怎么办?这篇 ICML 论文系统研究了 60 个基准的失效规律
When AI Benchmarks Plateau: A Systematic Study of Benchmark Saturation
这篇被 ICML 2026 接收的论文给“基准饱和”下了个明确定义,然后拿 60 个语言模型评测基准开刀。结论挺直接:将近一半的基准已经饱和了,也就是模型分数快刷到顶,拉不开差距了。越老的基准饱和得越快。有个反直觉的发现——把测试数据藏起来并不能延缓饱和,真正管用的是找专家来精心出题。
推荐理由:这篇 ICML 论文系统分析了 60 个语言模型评测基准,发现近一半已饱和,并指出隐藏测试数据无法延缓饱和,有效做法是请专家精心出题。