跳到正文
Hacker News 首页

Specific 发布 Real-SWE 基准:让 AI 在 8 家公司的真实私有代码库上干活,第一名解决率也只有 38.8%

Real-SWE: Benchmarking AI models on private, real-world, enterprise codebases

Specific Labs 发布 Real-SWE 基准,用来自真实公司私有生产代码库的任务评测前沿 AI 模型,任务涉及计费、税务、客户迁移等有业务后果的改动。

推荐理由:Specific 用 8 家公司授权的私有生产代码库出题,任务涉及计费、税务和客户迁移,模型需自行理解各家代码规范与业务规则,最高解决率 38.8%。

读原文 ↗导出 Markdown