# Snorkel 发布 Senior SWE-Bench：用高级工程师的标准来考编程智能体

> 原标题：Senior SWE-Bench: open-source benchmark that assesses agents as senior engineers

- 来源：Hacker News 首页
- 发布时间：2026-07-02T02:55:16.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/41810
- 原文：https://senior-swe-bench.snorkel.ai/

## 摘要

这个基准测试不再给智能体塞一堆写死的需求文档，而是直接丢给它自然语言的功能请求和用户报错信息，像跟真人工程师沟通一样。为了能自动判分，他们搞了个“验证智能体”，会根据专家设计的模板自动写行为测试来检查提交的代码。评分不光看跑不跑得通，还加了个“品味分”，看代码风格是不是跟项目原本的习惯一致。数据集和评分方法都开源在 GitHub 上了。

## 推荐理由

Snorkel 开源 Senior SWE-Bench，用自然语言功能请求和报错信息替代写死的需求文档，并让验证智能体自动生成行为测试，评分还纳入代码风格与项目习惯是否一致。

## 锐评

品味分这个设计挺有意思，但也是最容易注水的地方。代码风格像不像项目原样，谁来定义像？验证智能体自己写测试自己判分，等于让考生出题考自己，这套跑出来的分数我暂时只当参考。自然语言需求加报错信息这种输入方式，比塞写死的 spec 贴近真实工作，方向对。数据集开源这点实在，至少能自己跑一遍看水分。
