跳到正文
OpenAI News

OpenAI 审计 SWE-Bench Pro,发现约三成题目本身有毛病

Separating signal from noise in coding evaluations

OpenAI 对编程评测集 SWE-Bench Pro 做了一次质量审查,估计里面大约 30% 的题目是坏的。他们先用自动管线筛出 286 道可疑题目,再让基于 Codex 的调查 agent 和五位资深工程师分别复核。工程师最终标记出 249 道(34.1%)有缺陷的题目,主要毛病是测试太死板、题目描述漏要求、测试覆盖不足,以及题目描述误导模型。

推荐理由:OpenAI 审计 SWE-Bench Pro 时结合自动筛查与人机复核,给出了定位编程评测题目缺陷的分层审查流程。

读原文 ↗导出 Markdown