# SWE-Bench 作者出新基准 ProgramBench，Claude、GPT、Gemini 全拿零蛋

> 原标题：0%完成率！Claude、GPT、Gemini 全灭，SWE-Bench作者新作把AI圈干沉默了

- 来源：机器之心 · 公众号
- 发布时间：2026-05-07T02:05:00.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/15743
- 原文：https://mp.weixin.qq.com/s?__biz=MzA3MzI4MjgzMw==&mid=2651031726&idx=2&sn=105ca19f31b4709f958795a3a73bc0ca

## 摘要

这个新基准让模型从零复刻完整软件项目，只给可执行文件和说明文档，不给源码和测试。评测不看单函数写得对不对，而是用模糊测试跑行为一致性，看整个系统能不能用。结果 Claude Opus 4.7、GPT-5.4、Gemini 3.1 Pro 全部零完成率，一个都没跑通。这说明现在的模型离独立做系统工程还差得远，之前靠刷单函数题拿高分那套在这不管用。

## 推荐理由

SWE-Bench 作者推出新基准 ProgramBench，要求模型只凭可执行文件和文档从零复刻完整软件项目，Claude、GPT、Gemini 三款模型完成率均为零。

## 锐评

三个头部模型全零完成率，这个 0% 比任何分数都说明问题。只给可执行文件和文档，让模型从零复刻整个项目，再用 fuzzing 跑行为一致性，考的是系统工程能力，跟刷单函数题两码事。之前那些 SWE-Bench 高分有多少是背题背出来的，这下露馅了。

样本量和难度分布没给，0% 也可能是任务设计得太极端，方向没错。coding agent 拿这个当压力测试比刷函数级 benchmark 有用。
