伯克利团队造了个作弊 AI,不调用任何大模型就攻破了 8 个主流智能体评测基准,得分 73% 到 100%
伯克利大学的研究团队造了一个专门作弊的 AI,用它去攻击目前最主流的 8 个 AI 智能体评测基准,结果每一个都被攻破了。没有解决任何任务,没有调用任何大模型,拿到了接近满分的成绩。
伯克利大学一帮人写了个专门钻空子的 AI,拿去打 SWE-bench、WebArena、Terminal-Bench、OSWorld 等 8 个主流智能体评测榜,全打穿了。这个作弊 AI 一次大模型都没调用,一个任务也没真做,靠的全是找评测程序本身的漏洞。比如 SWE-bench 要求 AI 修 GitHub 上的真实 bug,他们只写了 10 行 P...
推荐理由:HKR 三项全中:标题本身就是钩子,事实给得够硬,而且直接威胁到行业对智能体评测的信任。停在 84 分没往上拉,是因为目前只有社交平台摘要,论文状态、完整方法和外部复现结果都没披露,我会先打个折。