跳到正文
AI HOT 精选

FrontierCode 基准给 AI 编程泼了盆冷水:最强模型代码合并通过率只有 13.4%

FrontierCode 基准测试:AI 编程评估新标准--维护者审核通过率最高仅 13.4%

Cognition 搞了个叫 FrontierCode 的编程评测,找了 20 多位资深开源维护者手工出了 150 道题,每道题平均花 40 小时以上,还配了 3000 多条审核规则,核心就一个标准:维护者看完代码愿不愿意合入主分支。他们直接点名 SWE-Bench 这类老评测,说里面超半数通过的代码其实是没法维护的垃圾。

推荐理由:Cognition 发布 FrontierCode 基准,请 20 多位资深开源维护者手工出题,以代码能否被合入主分支为审核标准,最强模型通过率只有 13.4%。

读原文 ↗导出 Markdown