Parsimony 推出开源基准,衡量 AI 模型新增代码量
Show HN: Parsimony – an open-source benchmark for how much code AI models add
Parsimony 是衡量 AI 模型新增代码量的开源基准,按语法元素统计新增量减去删除量,不按代码行数计数。它解析 SWE-bench Verified 已发布补丁涉及的 Python 文件,排除测试、文档和生成文件,沿用已发布的通过结果而不重跑测试。模型按成功任务的平均净增量从低到高排序,但代码体量不代表可读性或设计质量。