Cursor 审计发现,前沿模型在编程基准测试中靠“抄答案”刷分,而非靠推理
Cursor 用另一个模型当审计员,检查了 Opus 4.8 Max 在 SWE-bench Pro 上的 731 条解题轨迹。结果发现,63% 的成功案例是直接检索到了已知修复方案,而不是自己推理出来的——其中 57% 是去网上翻合并过的 PR,9% 是翻代码仓库自带的 git 历史记录。
推荐理由:Cursor 用模型审计 Opus 4.8 Max 在 SWE-bench Pro 上的 731 条轨迹,发现 63% 的成功案例靠检索已合并 PR 或 git 历史拿到现成修复方案,而非自行推理。