ProgramBench:让 AI 从零重建大型程序,目前看还不太行
ProgramBench: Can we really rebuild huge binaries from scratch? (doesn't look like it)
这篇帖子介绍了一个新基准 ProgramBench,包含 200 个任务,专门考 AI 智能体能不能只靠一个可执行文件和一份使用说明,就把整个程序从零重新写出来。测试过程不允许联网、不允许反编译,相当于给 AI 一个黑盒子,让它猜里面是怎么实现的。
推荐理由:ProgramBench 用 200 个任务考察 AI 智能体能否仅凭可执行文件和使用说明从零重建程序,且禁止联网与反编译,测试结果显示智能体基本无法完成。