SWE-bench 高分,为什么在大厂 Kotlin 项目里照样抓瞎?
为什么 SWE-bench 高分,在大厂 Kotlin 项目里依然会打转?
JetBrains 在 2026 年 7 月 24 日发布了 Kotlin Benchmark,用 8 个开源项目的 105 个真实任务测 AI 编程助手。同样用 Opus 4.7 模型,Claude Code 成功率 85.71%,JetBrains 自家的 Junie 是 81.9%,差了近 4 个百分点。
推荐理由:JetBrains 用 8 个开源项目的 105 个真实任务测试 AI 编程助手,同一模型下 Claude Code 与自家 Junie 的成功率相差近 4 个百分点,为衡量编程助手在真实工程中的表现提供参照。