# Specific 发布 Real-SWE 基准：让 AI 在 8 家公司的真实私有代码库上干活，第一名解决率也只有 38.8%

> 原标题：Real-SWE: Benchmarking AI models on private, real-world, enterprise codebases

- 来源：Hacker News 首页
- 发布时间：2026-09-12T20:25:48.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/56161
- 原文：https://withspecific.com/benchmarks/real-swe

## 摘要

Specific Labs 发布 Real-SWE 基准，用来自真实公司私有生产代码库的任务评测前沿 AI 模型，任务涉及计费、税务、客户迁移等有业务后果的改动。

## 推荐理由

Specific 用 8 家公司授权的私有生产代码库出题，任务涉及计费、税务和客户迁移，模型需自行理解各家代码规范与业务规则，最高解决率 38.8%。

## 锐评

38.8% 放在私有代码库上，比 SWE-bench 那些七八十好看得多。公开仓库的题模型见过类似的，私有库里的税计算、客户迁移没先例可抄，还得顺着人家自己的代码规范改，能过三成八已经算能干活了。榜单里 harness 的差别比模型还大，同一个 Claude Code 挂 Fable 5.1 是 38.8%，挂 GLM 5.3 掉到 28.8%，GPT-5.6 换到 Codex CLI 只有 16.2%。我信这个排名，信的是整套 scaffold 的组合。真拿它选型，得按自己那套 agent 复现一遍。
