SWE-Bench 作者出新基准 ProgramBench,Claude、GPT、Gemini 全拿零蛋
0%完成率!Claude、GPT、Gemini 全灭,SWE-Bench作者新作把AI圈干沉默了
这个新基准让模型从零复刻完整软件项目,只给可执行文件和说明文档,不给源码和测试。评测不看单函数写得对不对,而是用模糊测试跑行为一致性,看整个系统能不能用。结果 Claude Opus 4.7、GPT-5.4、Gemini 3.1 Pro 全部零完成率,一个都没跑通。这说明现在的模型离独立做系统工程还差得远,之前靠刷单函数题拿高分那套在这不管用。
推荐理由:SWE-Bench 作者推出新基准 ProgramBench,要求模型只凭可执行文件和文档从零复刻完整软件项目,Claude、GPT、Gemini 三款模型完成率均为零。