# OpenAI 不再用 SWE-bench Verified 测前沿编程能力，因为题目和答案都被模型背过了

> 原标题：Why SWE-bench Verified no longer measures frontier coding capabilities

- 来源：Hacker News 首页
- 发布时间：2026-04-26T13:58:13.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/10027
- 原文：https://openai.com/index/why-we-no-longer-evaluate-swe-bench-verified/

## 摘要

OpenAI 发了一篇文章，解释他们为什么停止用 SWE-bench Verified 这个基准来评估模型写代码的能力。他们抽查了 o3 模型跑了 64 次都没稳定通过的 138 道题，发现至少 59.4% 的题目本身有问题：要么测试用例太死板，把正确的代码也判错；要么题目描述太模糊，怎么改都通不过。

## 推荐理由

OpenAI 审计了 o3 反复失败的 138 道题，发现至少 59.4% 的题目存在测试用例过死或描述模糊的问题，这解释了它为何停用该基准。

## 锐评

59.4% 的题有问题，这个数一出来 SWE-bench Verified 基本就废了。测试用例把正确代码判错，题目描述模糊到怎么改都通不过，这种题占一多半，那榜单上零点几个百分点的差距还有什么意义。OpenAI 自己承认所有模型都能撞到答案细节，分数里掺了背题的水分。以后谁再拿 SWE-bench 分数说事，先问一句刷没刷过。评测标准换代是迟早的事，只是这次由 OpenAI 自己捅破，多少有点尴尬。
