OpenAI 开源了一个叫 SimpleQA 的事实性基准,专门测模型回答短问题的准确率
Introducing SimpleQA
OpenAI 放出了一个包含 4326 道题的基准 SimpleQA,题目都是简短、有明确答案的事实类问题,比如“2022 年世界杯荷兰对阿根廷,哪位荷兰球员打进了运动战进球”。每道题都经过两名独立 AI 训练师交叉验证,又抽了 1000 道题做第三方审计,发现答案一致率 94.4%,估算数据集本身的固有错误率在 3% 左右。
推荐理由:OpenAI 发布含 4326 道事实题的 SimpleQA 基准,题目经两名训练师交叉验证并抽检 1000 道,答案一致率 94.4%,可用于衡量模型回答短事实问题的准确率。