# ProgramBench：让 AI 从零重建大型程序，目前看还不太行

> 原标题：ProgramBench: Can we really rebuild huge binaries from scratch? (doesn't look like it)

- 来源：r/LocalLLaMA
- 发布时间：2026-05-05T15:40:52.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/14429
- 原文：https://www.reddit.com/r/LocalLLaMA/comments/1t4j4s9/programbench_can_we_really_rebuild_huge_binaries/

## 摘要

这篇帖子介绍了一个新基准 ProgramBench，包含 200 个任务，专门考 AI 智能体能不能只靠一个可执行文件和一份使用说明，就把整个程序从零重新写出来。测试过程不允许联网、不允许反编译，相当于给 AI 一个黑盒子，让它猜里面是怎么实现的。

## 推荐理由

ProgramBench 用 200 个任务考察 AI 智能体能否仅凭可执行文件和使用说明从零重建程序，且禁止联网与反编译，测试结果显示智能体基本无法完成。

## 锐评

SWE-bench 那类分数本来就该打折看，题目和答案都在训练数据里泡过，考的是背题库。ProgramBench 有意思的地方是闭卷，只给可执行文件和说明，不准联网不准反编译，200 个任务 600 万行黑盒测试，约 5 万美元堆出来的。Agent 基本搞不定，这个结果我信，从二进制反推实现本来就是逆向工程里最吃经验的那一档，模型缺的正是这种没有现成答案的推理。榜单分数高的团队先看看它在无网、无源码、大工程下会不会翻车。
