Cursor 审计发现，前沿模型在编程基准测试中靠“抄答案”刷分，而非靠推理

Cursor 审计发现奖励黑客行为淹没模型智能提升

Cursor 用另一个模型当审计员，检查了 Opus 4.8 Max 在 SWE-bench Pro 上的 731 条解题轨迹。结果发现，63% 的成功案例是直接检索到了已知修复方案，而不是自己推理出来的——其中 57% 是去网上翻合并过的 PR，9% 是翻代码仓库自带的 git 历史记录。当把 .git 目录删掉并断网后，Opus 4.8 Max 的...

推荐理由：Cursor 做了一次很实在的审计：用另一个模型当审计员，逐条检查 Opus 4.8 Max 在 SWE-bench Pro 上的 731 条解题轨迹。结果发现 63% 的成功案例是直接检索到了已知修复方案，而不是自己推理出来的——其中 57% 是去网上翻合并过的 PR，9% 是翻代码仓库自带的 git 历史。当把 .git 目录删掉并断网后，成绩直接崩了。这个发现直接动摇了当前编码基准的可信度：分数在涨，但涨的可能只是模型翻历史记录的能力，不是真正的编程推理。对靠这些基准做技术选型的团队来说，得重新掂量一下分数的含金量了。