OpenAI 发了个 PaperBench，专门考 AI 能不能复现顶会论文

PaperBench: Evaluating AI’s Ability to Replicate AI Research

OpenAI 搞了个新基准测试 PaperBench，让 AI 智能体从零复现 20 篇 ICML 2024 的 Spotlight 和 Oral 论文，包括读懂论文、搭代码、跑实验。每篇论文的复现任务被拆成可打分的小步骤，总共 8,316 个，评分标准是跟论文原作者一起定的。目前表现最好的选手——Claude 3.5 Sonnet（新版）加上开源脚手...

推荐理由：OpenAI 扔出一个硬核基准 PaperBench，拿 20 篇 ICML 2024 的 Spotlight 和 Oral 论文当考题，让 AI 智能体去复现研究过程。不是简单问答，而是拆成 8,316 个可评分的子任务，评分标准还是找论文原作者一起建的，这点挺扎实。目前表现最好的是 Claude 3.5 Sonnet 搭配开源脚手架，平均复现得分 21.0%，但人类博士基线还没被超过，说明离真正能搞研究的 AI 还有明显距离。代码已开源，想自己测的可以直接跑。