跳到正文
GitHub Blog · AI & MLMichelle Zhou

GitHub 介绍 AI 代码审查开放基准 ReviewBench

ReviewBench: An open benchmark for AI code review

GitHub 的 AI 代码审查开放基准 ReviewBench 已提供研究预览版,公开数据集、评估方法和自助运行工具。基准参考 103.9 million 个 GitHub 拉取请求的分布,包含来自 187 个仓库、覆盖 19 种语言的 219 个拉取请求,资深工程师独立复核标注的一致率为 96.6%。

推荐理由:ReviewBench 将固定标注与新增有效发现分开评估,在保持跨系统比较口径一致的同时,避免漏标问题惩罚审查智能体。

读原文 ↗导出 Markdown