跳到正文
OpenAI News

OpenAI 发布 GDPval:用 44 种职业的真实工作成果来考模型

Measuring the performance of our models on real-world tasks

OpenAI 搞了一个新评测集叫 GDPval,专门看模型在真实工作里到底能不能干活。它从对美国 GDP 贡献最大的 9 个行业里挑了 44 种职业,让平均从业 14 年以上的老手出了 1320 道题,其中 220 道金牌题已经开源。题目不是考试卷,而是直接让你产出法律简报、工程图纸、护理计划这类真实交付物,格式涵盖文档、幻灯片、表格、图表和多媒体。

推荐理由:OpenAI 发布 GDPval 评测集,从 9 个行业选取 44 种职业,由平均从业 14 年以上的老手出题,考察模型能否产出法律简报、工程图纸等真实交付物。

读原文 ↗导出 Markdown