OpenAI 发布 SWE-bench Verified：人工复核过的代码能力测试集

Introducing SWE-bench Verified

OpenAI 和 SWE-bench 原作者一起搞了个“验过货”的子集，叫 SWE-bench Verified。他们发现原版测试有坑：单元测试太死板、问题描述含糊、环境搭不起来，导致明明对的代码被判错，会系统性地低估模型写代码的真实水平。截至 2024 年 8 月 5 日，头部智能体在原版 SWE-bench 上得分约 20%，在 SWE-bench...

推荐理由：这不是一次常规发布。OpenAI 拉着原作者把 SWE-bench 翻了一遍，点出三类硬伤，还给出了新的分数天花板。我会先打个折：正文没披露修正后的完整新榜单，但现有数据已经足够让人重新审视那些代码智能体的评测成绩。