伯克利团队造了个专门作弊的 AI,SWE-bench 满分但一个 bug 都没修
SWE-bench满分,0个bug修复:伯克利造了个专门作弊的AI
伯克利 RDI 团队用一段大概 10 行的 pytest 钩子代码,在 SWE-bench 全部 500 个任务上拿了 100% 分数,实际修 bug 数是 0。他们的 agent 还顺手打穿了另外 8 个主流 agent 评测,分数从 73% 到 100% 不等。
推荐理由:伯克利 RDI 团队用约 10 行 pytest 钩子代码在 SWE-bench 全部 500 个任务上拿到满分,实际修复数为零,同一手法还打穿另外 8 个主流 agent 评测。