ITBench-AA 发布:最前沿的模型在企业 IT 运维任务上得分不到 50%
ITBench-AA: Frontier Models Score Below 50% on the First Benchmark for Agentic Enterprise IT Tasks — by Artificial Analysis and IBM
Artificial Analysis 和 IBM 搞了个新基准 ITBench-AA,专门考模型能不能像真人一样处理企业 IT 的活,第一波先考站点可靠性工程(SRE)任务。结果最厉害的 Claude Opus 4.7 也只拿了 47%,GPT-5.5 是 46%,所有顶尖模型都没过半。
推荐理由:Artificial Analysis 与 IBM 推出 ITBench-AA,首轮考站点可靠性工程任务,Claude Opus 4.7 得 47%、GPT-5.5 得 46%,顶尖模型均未过半。