跳到正文
Hacker News 首页

AGI Ranker 修正了评分天花板逻辑,所有模型分数掉了 6 到 15 分

Show HN: I audited my AI leaderboard scale – every score dropped 6-15 points

AGI Ranker 把 10 个公开基准测试打包成一个 0 到 100 的综合分,100 分代表摸到 AGI 门槛。最近他们做了一次审计,发现之前把几乎所有基准的满分都当成了“人类顶尖水平”,但真正有公开发表的人类对照实验的只有 GPQA Diamond 这一个(人类得分 0.81)。其余九个基准的“天花板”其实只是卷面满分,不等于人类水平。

推荐理由:AGI Ranker 审计发现,10 个基准里只有 GPQA Diamond 有人类对照实验,其余九个把卷面满分当成人类顶尖水平,修正后所有模型综合分下降 6 到 15 分。

读原文 ↗导出 Markdown