OpenAI 发布 GDPval:用 44 种职业的真实工作成果来考模型
Measuring the performance of our models on real-world tasks
OpenAI 搞了一个新评测集叫 GDPval,专门看模型在真实工作里到底能不能干活。它从对美国 GDP 贡献最大的 9 个行业里挑了 44 种职业,让平均从业 14 年以上的老手出了 1320 道题,其中 220 道金牌题已经开源。题目不是考试卷,而是直接让你产出法律简报、工程图纸、护理计划这类真实交付物,格式涵盖文档、幻灯片、表格、图表和多媒体。评...
推荐理由:OpenAI 这次拿出的 GDPval 不是又一个刷榜基准,而是把评测对象换成了真实工作交付物,这点本身就抓人。文章给了具体数字和限制条件,比如 44 个职业、1320 个任务、220 个金标开源,也明确说了只测单轮,不碰多轮和长上下文,信息量够。它踩中的是行业最关心的问题:模型离真正接手知识工作还有多远。不是模型发布或高管变动,放在 featured 刚好。