Artificial Analysis 发布 v4.2 智能指数,用隐藏题库防刷分,并加入模拟知识工作的新测试
Artificial Analysis Intelligence Index v4.2
Artificial Analysis 更新了模型评测榜单到 v4.2 版,主要做了两件事:一是新增了 AA-Briefcase 和 GDP.pdf 两个更贴近真实场景的测试;二是把不公开的隐藏题库权重翻倍到 40%,专门防止模型厂商针对公开题刷分。AA-Briefcase 是它们自己出的隐藏题,模拟需要好几周才能完成的知识工作项目,让模型处理几千个源...
推荐理由:这次更新核心就一件事:防刷分。Artificial Analysis把不公开题库的权重从20%提到40%,摆明了告诉厂商别想靠背题拿高分。新增的AA-Briefcase和GDP.pdf两个测试也值得看一眼,前者让模型处理几千个源文件做长周期项目,后者直接扔一本4592页的文档考信息提取,比MMLU这类饱和基准更接地气。不过正文没披露具体模型排名变化,只说后续会陆续放出,所以现在只能当方法论预告看,别急着拿它做选型决策。