GitHub 介绍 AI 代码审查开放基准 ReviewBench
ReviewBench: An open benchmark for AI code review
GitHub 的 AI 代码审查开放基准 ReviewBench 已提供研究预览版,公开数据集、评估方法和自助运行工具。基准参考 103.9 million 个 GitHub 拉取请求的分布,包含来自 187 个仓库、覆盖 19 种语言的 219 个拉取请求,资深工程师独立复核标注的一致率为 96.6%。
推荐理由:ReviewBench 将固定标注与新增有效发现分开评估,在保持跨系统比较口径一致的同时,避免漏标问题惩罚审查智能体。