# OpenAI 发布 SWE-bench Verified：人工复核过的代码能力测试集

> 原标题：Introducing SWE-bench Verified

- 来源：OpenAI News
- 发布时间：2024-08-13T10:00:00.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/732
- 原文：https://openai.com/index/introducing-swe-bench-verified

## 摘要

OpenAI 和 SWE-bench 原作者一起搞了个“验过货”的子集，叫 SWE-bench Verified。他们发现原版测试有坑：单元测试太死板、问题描述含糊、环境搭不起来，导致明明对的代码被判错，会系统性地低估模型写代码的真实水平。

## 推荐理由

OpenAI 与 SWE-bench 原作者合作推出经人工复核的子集，指出原版测试因单元测试死板、描述含糊和环境问题会系统性低估模型真实代码水平。

## 锐评

SWE-bench 原版低估模型写代码的水平，这事我信，但 OpenAI 自己出来说这个，动机得掂量。测试集是它和原作者一起改的，改完的分数天花板也由它先放出来，等于自己出题自己判卷。单元测试太死、描述含糊、环境搭不起来，这三条确实都是老毛病，跑过 agent 评测的都知道假阴性有多烦。问题是修正后的完整榜单没给，只给结论不给数，那这个 Verified 现在更像一张可以随时往上贴分的白纸。等第三方拿它跑出跟原版差多少，再决定要不要把自家 agent 的分数往上调。
