Specific 发布 Real-SWE 基准:让 AI 在 8 家公司的真实私有代码库上干活,第一名解决率也只有 38.8%
Specific 从 8 家公司拿到了真实的私有生产代码库,把工程师实际要处理的任务丢给 8 个前沿模型去跑。这些任务不是刷题,而是修税计算、做客户迁移这种会影响业务的事,模型得自己看懂每家公司的代码规范和业务规则。结果最好的组合是 Anthropic 的 Fable 5.1 搭配 Claude Code,解决率 38.8%;GPT-6 Astra 是...
推荐理由:我会先打个折:38.8% 的解决率看着不高,但这是拿真实生产任务测出来的,不是刷题。Specific 从 8 家公司拿到了私有代码库,让模型去修税计算、做客户迁移这种会影响业务的事,模型得自己看懂每家公司的代码规范和业务规则,没有现成答案可抄。Fable 5.1 配 Claude Code 拿了第一,GPT-6 Astra 也上榜了,但正文没披露具体任务难度分布和失败原因,这点先别太激动。对 AI 从业者来说,这是目前最接近“让模型进生产代码库干活”的第三方基准,比 SWE-bench 那种公开题库更有参考价值,但样本只有 8 家公司,结论别急着推...