一个用公司内部数据测 RAG 的开放基准,模拟了 9 种数据源和 10 类检索失败模式
An Open Benchmark for Testing RAG on Realistic Company-Internal Data
EnterpriseRAG-Bench 放出了一个 50 万文档的语料库,专门用来测 RAG 在公司内部数据上的表现。它模拟了 Redwood Inference 的 9 种数据源,并围绕 10 种检索失败模式设计了 500 个问题。基线测试显示,BM25 在整体上优于向量检索,而基于 agent/bash 的检索方式虽然完整度最高,但成本和延迟也明显更高。
推荐理由:EnterpriseRAG-Bench 用 50 万文档语料和 500 个问题测企业内网 RAG,覆盖 9 种数据源与 10 类检索失败模式,基线中 BM25 整体优于向量检索。