跳到正文
Hacker News 首页

Epoch AI 和 METR 搞了个新基准 MirrorCode,看 AI 能不能独立重写一整个软件项目

What's the largest software project AI can complete on its own?

MirrorCode 让 AI 不看源码,从零复刻 25 个完整程序,要求输出和原版在端到端测试里完全一致。任务覆盖了 Unix 工具、数据序列化、生物信息、解释器、静态分析、加密和压缩。和现有基准最大的区别是,它给了真实的推理预算:最贵的一次跑了 2600 美元,AI 连续干了 19 天没人插手。

推荐理由:Epoch AI 和 METR 推出 MirrorCode 基准,让 AI 不看源码从零复刻 25 个完整程序,并以最贵 2600 美元、连续 19 天的真实推理预算测试其独立完成软件项目的边界。

读原文 ↗导出 Markdown