Hugging Face 用 1200 人加编程智能体复现了 2200 篇 ICML 论文,发现审稿人没空看的证明,复现时真查出了问题
What We Learned by Reproducing 2,200 papers from ICML
Hugging Face 搞了一场 19 天的黑客松,1200 多人带着 Claude Code、Codex 这类编程智能体,把 ICML 2026 接收的论文挑了 2226 篇来复现,覆盖了大会近三分之一。他们让智能体读论文、写代码、跑实验,然后汇报结果。一篇拿了 spotlight 的论文,审稿人自己承认没仔细检查证明,结果在这次复现里被抓住了真实...
推荐理由:Hugging Face搞了场大规模复现实验,让编程智能体读论文、写代码、跑结果,还顺手揪出一篇spotlight论文的证明错误。我会先打个折:正文只给了标题和摘要,复现成功率、智能体具体怎么干活这些关键数据都没披露,所以别急着下结论说智能体审稿靠谱。但光是这个规模和那个审稿人漏掉的错误,就足够让学界捏把汗了。