OpenAI 发了个 PaperBench,专门考 AI 能不能复现顶会论文
PaperBench: Evaluating AI’s Ability to Replicate AI Research
OpenAI 搞了个新基准测试 PaperBench,让 AI 智能体从零复现 20 篇 ICML 2024 的 Spotlight 和 Oral 论文,包括读懂论文、搭代码、跑实验。每篇论文的复现任务被拆成可打分的小步骤,总共 8,316 个,评分标准是跟论文原作者一起定的。
推荐理由:OpenAI 发布 PaperBench,用 20 篇 ICML 2024 论文的复现任务考察 AI 智能体,评分标准由论文原作者参与制定,共拆出 8,316 个可打分子任务。