# OpenAI 发了个 PaperBench，专门考 AI 能不能复现顶会论文

> 原标题：PaperBench: Evaluating AI’s Ability to Replicate AI Research

- 来源：OpenAI News
- 发布时间：2025-04-02T10:15:00.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/590
- 原文：https://openai.com/index/paperbench

## 摘要

OpenAI 搞了个新基准测试 PaperBench，让 AI 智能体从零复现 20 篇 ICML 2024 的 Spotlight 和 Oral 论文，包括读懂论文、搭代码、跑实验。每篇论文的复现任务被拆成可打分的小步骤，总共 8,316 个，评分标准是跟论文原作者一起定的。

## 推荐理由

OpenAI 发布 PaperBench，用 20 篇 ICML 2024 论文的复现任务考察 AI 智能体，评分标准由论文原作者参与制定，共拆出 8,316 个可打分子任务。

## 锐评

21% 这个分数其实不低，卡住 agent 的地方在论文里那些没写出来的默认设置。8,316 个评分点找原作者一起定，OpenAI 自己也知道复现的坑全在细节里，光读论文补不齐。Claude 3.5 Sonnet 加开源 scaffold 能到 21%，人类博士基线还没被超过，这个差距短期不会缩小。想拿它当 coding benchmark 刷分的可以省省，这测的是科研直觉，补全能力再强也顶不上。
