SWE-Bench Pro 测不出模型差距了,有人重做了一把尺子,分差直接拉到 62 个百分点
SWE-Bench Pro 饱和之后,有人做了一把新尺子
SWE-Bench Pro 的排行榜上,GPT-5.5 和 Claude Opus 4.7 都挤在 82 分附近,看起来差不多。但 Datacurve 团队新发布的 DeepSWE 基准,让同一批模型跑出了 62 个百分点的差距:GPT-5.5 拿了 70%,Claude Opus 4.7 是 54%,DeepSeek V4 Pro 只有 8%。
推荐理由:Datacurve 团队发布 DeepSWE 基准,让同一批模型跑出 62 个百分点差距,而它们在 SWE-Bench Pro 上仅相差几分,这组对比直接说明旧基准已难以区分模型能力。