跳到正文
r/LocalLLaMA

ProgramBench:让 AI 从零重建大型程序,目前看还不太行

ProgramBench: Can we really rebuild huge binaries from scratch? (doesn't look like it)

这篇帖子介绍了一个新基准 ProgramBench,包含 200 个任务,专门考 AI 智能体能不能只靠一个可执行文件和一份使用说明,就把整个程序从零重新写出来。测试过程不允许联网、不允许反编译,相当于给 AI 一个黑盒子,让它猜里面是怎么实现的。

推荐理由:ProgramBench 用 200 个任务考察 AI 智能体能否仅凭可执行文件和使用说明从零重建程序,且禁止联网与反编译,测试结果显示智能体基本无法完成。

读原文 ↗导出 Markdown