# ORCA-bench：让 AI 当 oncall 值班员，现在到底靠不靠谱？

> 原标题：Orca-Bench: How Ready Are Language Model Agents for Oncall?

- 来源：Hacker News 首页
- 发布时间：2026-07-31T18:32:43.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/47902
- 原文：https://arxiv.org/abs/2607.28545

## 摘要

这篇论文搭了一个接近真实生产环境的测试台，用 Prometheus、Jaeger 和 OpenSearch 这些工具模拟了六天的微服务系统数据，然后让五个顶尖的编程智能体去排查 1079 个故障根因。结果最好的模型在中等难度任务上准确率只有 25.3%，困难任务上掉到 10%。最差的模型在 40% 的故障报告里直接编造了不存在的根因。

## 推荐理由

论文用 Prometheus、Jaeger 和 OpenSearch 模拟六天微服务数据，让五个编程智能体排查 1079 个故障根因，最好模型中等难度准确率仅 25.3%，最差模型在 40% 的故障报告里编造了不存在的根因。

## 锐评

25.3% 这个数摆在这，中等难度故障四个里对不了一个，困难任务掉到 10%。最差的模型在 40% 的报告里编根因，这个比准确率低更吓人，oncall 场景下编一个不存在的根因，值班的人照着去查，浪费的是半夜的时间。不让看源码准确率还要再降，模型现在靠的还是猜。测试台毕竟不是真生产，但 1079 个故障的样本量够看了，让 agent 独立接告警还早得很。
