OpenAI 发布 SWE-bench Verified:人工复核过的代码能力测试集
Introducing SWE-bench Verified
OpenAI 和 SWE-bench 原作者一起搞了个“验过货”的子集,叫 SWE-bench Verified。他们发现原版测试有坑:单元测试太死板、问题描述含糊、环境搭不起来,导致明明对的代码被判错,会系统性地低估模型写代码的真实水平。
推荐理由:OpenAI 与 SWE-bench 原作者合作推出经人工复核的子集,指出原版测试因单元测试死板、描述含糊和环境问题会系统性低估模型真实代码水平。