Snorkel 发布 Senior SWE-Bench:用高级工程师的标准来考编程智能体
Senior SWE-Bench: open-source benchmark that assesses agents as senior engineers
这个基准测试不再给智能体塞一堆写死的需求文档,而是直接丢给它自然语言的功能请求和用户报错信息,像跟真人工程师沟通一样。为了能自动判分,他们搞了个“验证智能体”,会根据专家设计的模板自动写行为测试来检查提交的代码。评分不光看跑不跑得通,还加了个“品味分”,看代码风格是不是跟项目原本的习惯一致。数据集和评分方法都开源在 GitHub 上了。
推荐理由:Snorkel 开源 Senior SWE-Bench,用自然语言功能请求和报错信息替代写死的需求文档,并让验证智能体自动生成行为测试,评分还纳入代码风格与项目习惯是否一致。