# OpenAI 开源了一个叫 SimpleQA 的事实性基准，专门测模型回答短问题的准确率

> 原标题：Introducing SimpleQA

- 来源：OpenAI News
- 发布时间：2024-10-30T10:00:00.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/681
- 原文：https://openai.com/index/introducing-simpleqa

## 摘要

OpenAI 放出了一个包含 4326 道题的基准 SimpleQA，题目都是简短、有明确答案的事实类问题，比如“2022 年世界杯荷兰对阿根廷，哪位荷兰球员打进了运动战进球”。每道题都经过两名独立 AI 训练师交叉验证，又抽了 1000 道题做第三方审计，发现答案一致率 94.4%，估算数据集本身的固有错误率在 3% 左右。

## 推荐理由

OpenAI 发布含 4326 道事实题的 SimpleQA 基准，题目经两名训练师交叉验证并抽检 1000 道，答案一致率 94.4%，可用于衡量模型回答短事实问题的准确率。

## 锐评

4326 道题、两名训练师交叉核验、抽 1000 道做第三方审计，这套流程比题目本身值钱。事实性基准最怕题本身有错，3% 的固有错误率摆在那，前沿模型丢的分里有一部分是冤枉的，拿它当排行榜单看要留个心眼。

GPT-4o 不到 40% 这个数挺有意思，题目叫 SimpleQA，越强的模型越容易翻车，短事实问答考的是校准，不是知识量。做 agent 的可以留意，工具调用前先判断自己知不知道，比硬答一个错的强。
