一份追踪30张模型卡片的排行榜,看前沿实验室到底报告了哪些基准
I checked 30 frontier model cards. Here are the benchmarks labs report
这个项目扫了11家机构的30张模型卡片,统计了79个基准被提及的次数,衡量的是厂商的关注度,不是基准本身好不好。MATH-500和Arena-Hard的分数快摸到天花板了,区分力在下降。DeepSeek自家的模型在26天内,AIME涨了40.6分,LiveCodeBench涨了25.4分。
推荐理由:该项目统计11家机构30张模型卡片中79个基准的提及次数,衡量厂商关注度而非基准质量,并给出MATH-500与Arena-Hard接近饱和、DeepSeek模型26天内AIME涨40.6分的数字。