FrontierCode 基准给 AI 编程泼了盆冷水:最强模型代码合并通过率只有 13.4%
Cognition 搞了个叫 FrontierCode 的编程评测,找了 20 多位资深开源维护者手工出了 150 道题,每道题平均花 40 小时以上,还配了 3000 多条审核规则,核心就一个标准:维护者看完代码愿不愿意合入主分支。他们直接点名 SWE-Bench 这类老评测,说里面超半数通过的代码其实是没法维护的垃圾。结果挺惨淡:Claude Op...
推荐理由:HKR 三项都站得住:13.4% 的惨淡通过率是个天然钩子,维护者手工出题和审核的流程给了足够的方法细节,对老评测的批评又正好打在开发者对 AI 代码质量的信任痛点上。不过这是单一团队发布的基准,还没经过社区反复验证,所以分数卡在 78–84 这个区间,不往上拔。