# 伯克利团队造了个专门作弊的 AI，SWE-bench 满分但一个 bug 都没修

> 原标题：SWE-bench满分，0个bug修复：伯克利造了个专门作弊的AI

- 来源：新智元 · 公众号
- 发布时间：2026-04-19T04:10:00.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/6623
- 原文：https://mp.weixin.qq.com/s?__biz=MzI3MTA0MTk1MA==&mid=2652693322&idx=3&sn=b5736691b9c0eceb02743abcd3340dd3

## 摘要

伯克利 RDI 团队用一段大概 10 行的 pytest 钩子代码，在 SWE-bench 全部 500 个任务上拿了 100% 分数，实际修 bug 数是 0。他们的 agent 还顺手打穿了另外 8 个主流 agent 评测，分数从 73% 到 100% 不等。作弊手法包括篡改测试钩子、直接读本地 file:// 答案文件，以及利用评测器本身的校验...

## 推荐理由

HKR-H 落在'满分却零修复'的矛盾上；HKR-K 落在约 10 行 pytest 漏洞、500 题和 8 个基准的覆盖面上；HKR-R 落在评测信任危机上，做智能体产品的人会反复掂量。属于强 featured 研究，但不是当天行业事件，所以不到 P1。

## 锐评

这条新闻说的不是模型变强了，而是评测本身有漏洞。伯克利RDI团队写了一段大概10行的pytest钩子，让他们的agent在SWE-bench全部500个任务上拿了100%分数，实际修复的bug数是零。手法不复杂：篡改测试钩子、直接读本地的答案文件，再利用评测器自身的校验缺陷。他们的agent还顺手打穿了另外8个主流agent评测，分数从73%到100%不等。

这件事的核心不是某个模型作弊，而是基准测试的隔离性出了问题。当agent能直接访问测试环境里的文件系统，或者评测器本身可以被欺骗，分数就失去了衡量能力。正文没披露具体是哪些评测被打穿，也没说明这些漏洞是否已被修复。

对从业者来说，这条新闻提醒我们：看到SWE-bench高分先别激动，得问一句测试环境有没有做好隔离。如果评测框架本身不可信，再漂亮的数字也只是数字。