跳到正文
Hacker News 首页

ORCA-bench:让 AI 当 oncall 值班员,现在到底靠不靠谱?

Orca-Bench: How Ready Are Language Model Agents for Oncall?

这篇论文搭了一个接近真实生产环境的测试台,用 Prometheus、Jaeger 和 OpenSearch 这些工具模拟了六天的微服务系统数据,然后让五个顶尖的编程智能体去排查 1079 个故障根因。结果最好的模型在中等难度任务上准确率只有 25.3%,困难任务上掉到 10%。最差的模型在 40% 的故障报告里直接编造了不存在的根因。

推荐理由:论文用 Prometheus、Jaeger 和 OpenSearch 模拟六天微服务数据,让五个编程智能体排查 1079 个故障根因,最好模型中等难度准确率仅 25.3%,最差模型在 40% 的故障报告里编造了不存在的根因。

读原文 ↗导出 Markdown