# OpenAI 审计 SWE-Bench Pro，发现约三成题目本身有毛病

> 原标题：Separating signal from noise in coding evaluations

- 来源：OpenAI News
- 发布时间：2026-07-08T13:00:00.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/43253
- 原文：https://openai.com/index/separating-signal-from-noise-coding-evaluations

## 摘要

OpenAI 对编程评测集 SWE-Bench Pro 做了一次质量审查，估计里面大约 30% 的题目是坏的。他们先用自动管线筛出 286 道可疑题目，再让基于 Codex 的调查 agent 和五位资深工程师分别复核。工程师最终标记出 249 道（34.1%）有缺陷的题目，主要毛病是测试太死板、题目描述漏要求、测试覆盖不足，以及题目描述误导模型。

## 推荐理由

OpenAI 审计 SWE-Bench Pro 时结合自动筛查与人机复核，给出了定位编程评测题目缺陷的分层审查流程。

## 锐评

SWE-Bench Pro 三成题目是坏的，这个数比任何模型跑分都值得看。测试太死板、描述漏要求，模型答对了判错，答错了判对，榜单上那点分差本来就在噪声里。OpenAI 自己跑审计还拉五个工程师复核，流程挺实在，但顺手也把自家模型在榜上的名次洗了一遍。以后看编程 benchmark 先问一句题目审过没有，没审过的分我基本不当数。
