# NatureBench 实测：AI 编程智能体只在 17.8% 的顶刊任务上打赢了原论文的 SOTA

> 原标题：NatureBench：AI编码智能体能否匹配Nature系列论文已发表SOTA？

- 来源：AI HOT 精选
- 发布时间：2026-06-23T00:00:00.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/40164
- 原文：https://arxiv.org/abs/2606.24530

## 摘要

这篇论文搞了个叫 NatureBench 的基准测试，从 Nature 系列期刊已发表的论文里抽了 90 个跨学科任务，专门考 AI 编程智能体能不能复现甚至超越原论文的最优结果。测试时不让智能体上网查资料，结果最强的模型配置只在 17.8% 的任务上真正超过了原 SOTA（判定标准是提升幅度 g>0.1）。

## 推荐理由

NatureBench 从 Nature 系列已发表论文中抽取 90 个跨学科任务，考察 AI 编程智能体在断网条件下能否复现或超越原论文 SOTA，最强配置仅在 17.8% 的任务上胜出。

## 锐评

17.8% 这个数其实不低。90 个顶刊任务，不联网，让 agent 从零复现并超过原作者几年的工作，能赢六分之一已经超出我的预期。该看的是它赢在哪，论文说赢的方式是把科学问题转成自己擅长的编程套路，那这 17.8% 大概率集中在计算类、优化类的任务上，实验设计、数据解释这类活儿它碰不了。所以别拿这个数去说 agent 能替代科研，它现在就是个很强的代码执行器。arXiv 上的东西还没同行评审，基准本身怎么判 g>0.1 也值得抠，方向我认。
