跳到正文

评测基准

模型到底谁强:Benchmark 成绩、评测方法论争议与排行榜变化的持续记录。

最新精选

第 301–320 条 · 共 471 条

5月15日星期五

Latent Space

AI 原生医疗:1 亿次问诊、每周省 10–20 小时、几分钟搞定预授权

Abridge 这家公司 2018 年就起步了,比 ChatGPT 火起来早了四年多。他们一开始做的事很实在:把医生和病人的对话录下来,自动生成病历草稿,帮医生省掉下班后补病历的“睡衣时间”,每周能省出 10 到 20 小时。

推荐理由:Abridge 从 2018 年就开始做医患对话转病历,比 ChatGPT 早四年多,医生每周省下 10 到 20 小时文书时间。

AI HOT 精选

IBM 开源多语言嵌入模型 R2:不到 1 亿参数,32K 上下文,检索跑分在同级里最高

IBM 在 Hugging Face 上发了两个新的多语言嵌入模型,都走 Apache 2.0 协议。小号 9700 万参数,在 MTEB 多语言检索上拿了 60.3 分,正文说这是目前所有开源同尺寸模型里最高的。大号 3.11 亿参数,得分 65.2,在 5 亿参数以下的开放模型里排第二。

推荐理由:IBM 在 Hugging Face 开源两个 Apache 2.0 多语言嵌入模型,9700 万参数的小号在 MTEB 多语言检索上拿到 60.3 分,为轻量级多语言检索方案提供了新的同级参照。

5月14日星期四

AI HOT 精选

小米 MiMo V2.5 Pro 在 DesignArena 设计竞技场拿到第三,前端编码追平 Claude Sonnet 4.6

MiMo V2.5 Pro 的 Thinking 版本在 DesignArena 总榜上比上一代 MiMo-V2.5 爬了 8 个名次,直接冲到第三。前端编码任务的表现已经和 Claude Sonnet 4.6 打平。正文没披露具体评分和测试样本量,所以这个“追平”是在什么条件下达成的还不清楚,先别太激动。

推荐理由:小米 MiMo V2.5 Pro 在 DesignArena 总榜升至第三,较上一代爬了 8 个名次,前端编码任务追平 Claude Sonnet 4.6,国产模型在设计类榜单上的位置变化。

新智元 · 公众号

OpenAI 企业市场王座被 Anthropic 踹了,三年头一回

根据 Ramp 从 5 万多家公司的信用卡和发票支出里拉出来的数据,Anthropic 的企业市场份额冲到了 34.4%,OpenAI 掉到 32.3%,这是 OpenAI 三年来第一次在这个指标上被反超。

推荐理由:Ramp 从 5 万多家公司的信用卡和发票支出中统计出,Anthropic 企业市场份额升至 34.4%,OpenAI 降至 32.3%,这是 OpenAI 三年来在该指标上第一次被反超。

机器之心 · 公众号

阿里达摩院用信息瓶颈做自奖励,让模型做数学题时多试几条不同的路

阿里达摩院发了篇 ACL 2026 论文,提出 I²B-LPO,解决强化学习微调时模型解题思路越来越像的问题。做法是在模型生成答案时,碰到它犹豫不决的节点就分叉出多条路径,再用一个基于信息瓶颈的自奖励机制筛掉重复的、留下真正不一样的解法。

推荐理由:阿里达摩院提出 I²B-LPO,在模型解题犹豫处分支采样,并用信息瓶颈自奖励筛出不同解法,缓解强化学习微调中思路趋同的问题。

AI HOT 精选

企业付款数据首次显示 Anthropic 的 B2B 客户占比超过 OpenAI

企业支付平台 Ramp 的 AI 指数显示,2026 年 4 月 Anthropic 在美国企业客户中的付费采用率达到 34.4%,首次超过 OpenAI 的 32.3%。Anthropic 的覆盖率一年翻了四倍,而 OpenAI 几乎没动,只涨了 0.3 个百分点。

推荐理由:Ramp 的支付数据显示,2026 年 4 月 Anthropic 在美国企业客户中的付费采用率达到 34.4%,超过 OpenAI 的 32.3%,其覆盖率一年翻了四倍。

5月13日星期三

TechCrunch · AI

Ramp 的企业支出数据里,付费用 Anthropic 的公司比例首次超过了 OpenAI

金融科技公司 Ramp 扒了自家客户的企业支出账单,发现 34.4% 的公司在给 Anthropic 花钱,OpenAI 这个比例是 32.3%,Anthropic 小胜一局。不过正文没披露到底统计了多少家公司、这些公司是初创还是大企业、以及每家每月花多少钱。

推荐理由:Ramp 统计自家客户的企业支出账单,34.4% 的公司在向 Anthropic 付费,OpenAI 为 32.3%,两个数字来自同一批样本,可直接比较。

AI HOT 精选

阶跃星辰发了 Step Image Edit 2,35 亿参数在指令修图榜 KRIS-Bench 上拿了综合、事实、概念三项第一

这个 35 亿参数的图像模型在 KRIS-Bench 指令修图评测里,综合、事实和概念三个类别都排第一,跑赢了参数大它五六倍的模型。能干的事包括文生图、按指令改图、中英文文字渲染,以及保持主体一致的风格迁移。官方说生成快、单次编辑成本低,但没给出具体延迟和价格数字。模型已经上线阶跃开放平台,可以直接用。

推荐理由:阶跃星辰发布 35 亿参数的 Step Image Edit 2,在 KRIS-Bench 指令修图评测的综合、事实、概念三项均列第一,成绩超过参数量五六倍的模型。

5月12日星期二

r/LocalLLaMA

Reddit 网友实测 288 次模型调用,把本地模型输出 JSON 时的各种翻车方式全整理了一遍,还写了个修复库

Reddit 用户 kexxty 用 OpenRouter 跑了 288 次结构化输出测试,覆盖 Llama 3、Mistral、Command R、DeepSeek、Qwen 等模型,发现本地模型和纯 API 模型在 JSON 上出的错其实差不多。他把这些失败归类后,写了一个叫 outputguard 的 Python 修复库,用 MIT 协议开源。

推荐理由:Reddit 用户 kexxty 跑了 288 次结构化输出测试,覆盖 Llama 3、Mistral、DeepSeek 等模型,把本地模型 JSON 出错方式归类后开源了修复库 outputguard。

5月11日星期一

AI HOT 精选

菲尔兹奖得主实测 ChatGPT 5.5 Pro:17 分钟独立解决数学难题,成果够写博士论文

剑桥数学家、菲尔兹奖得主 Timothy Gowers 用 ChatGPT 5.5 Pro 做了个实验,只给简单提示,没做任何数学指导。AI 在 17 分钟内独立解决了一个加法数论公开问题,给出的构造在理论上是最优的。Gowers 判断这个成果完全够格写进博士论文。

推荐理由:菲尔兹奖得主 Timothy Gowers 仅给简单提示,ChatGPT 5.5 Pro 便在 17 分钟内独立解决一个加法数论公开问题,其构造在理论上最优。

AI HOT 精选

OpenRouter 用真实市场需求给模型排座次,DeepSeek V4 Pro 排第一

OpenRouter 搞了个叫 Pareto Code 的排名方法,不看跑分,直接看用户在实际调用中怎么选模型,找出性价比最优的那条线。目前排第一的是 DeepSeek V4 Pro,后面跟着 GPT 5.4 Mini 和 Gemini 3.1 Pro。不过正文没披露具体怎么算分、样本量多大,所以这个排名到底多稳,我会先打个折。

推荐理由:OpenRouter 推出 Pareto Code 排名,以用户实际调用数据而非跑分衡量模型性价比,DeepSeek V4 Pro 位列第一,GPT 5.4 Mini 和 Gemini 3.1 Pro 紧随其后。

新智元 · 公众号

Agent 评测的下半场:为什么需要一个「活的」Benchmark?

这篇文章的正文被微信环境验证挡住了,实际内容没拿到。从标题和现有英文摘要看,它讨论的是 Claw-Eval-Live 这个基准测试,用 105 个任务测了 13 个前沿模型,表现最好的模型通过率也没超过 70%,HR 类任务平均通过率只有 6.8%。核心观点是静态评测不够用了,需要能动态更新的“活”基准来测 AI 智能体。

推荐理由:Claw-Eval-Live 用 105 个任务测了 13 个前沿模型,最好模型的通过率不到 70%,HR 类任务平均只有 6.8%,静态评测难以覆盖智能体落地时的真实表现。

新智元 · 公众号

Claude Mythos 在 METR 长任务评测里拿到 50% 成功率,对应人类 16 小时的工作量

METR 的 Time Horizons 测试里,Claude Mythos 预览版在人类需要 16 小时才能完成的任务上,成功率达到了 50%。不过整个测试集一共 228 个任务,只有 5 个任务的时间跨度超过 16 小时,所以这个成绩能说明它在长任务上有进步,但样本太少,还测不出它在更长时间尺度上的真实水平。

推荐理由:METR 的 Time Horizons 测试中,Claude Mythos 预览版在人类需 16 小时完成的任务上成功率达 50%,但 228 个任务里只有 5 个超过这一时长,长任务成绩的样本基础有限。

量子位 · 公众号

菲尔兹奖得主实测 ChatGPT 5.5 Pro,17 分钟跑出论文级数学结果

陶哲轩的同事、菲尔兹奖得主 Timothy Gowers 拿 ChatGPT 5.5 Pro 试了一道加法数论里的难题,模型在 17 分 05 秒内给出了一个最优的二次上界构造,相当于直接产出了一篇小论文的核心证明。之后他又让模型把整个过程写成 LaTeX 预印本,总共花了 47 分钟。

推荐理由:菲尔兹奖得主 Gowers 用 ChatGPT 5.5 Pro 试解加法数论难题,模型 17 分钟内给出最优二次上界构造,随后 47 分钟写成 LaTeX 预印本。

AI HOT 精选

本地 35B 模型扛下作者一半日常工作,响应速度是云端 Claude Opus 4.5 的两倍

作者用五周时间测了约 1400 个日常工作请求,发现本地跑的 Qwen 3.6 35B 这类模型能搞定其中一半,平均响应 2.8 秒,比云端 Claude Opus 4.5 的 5.8 秒快了 2.1 倍。像邮件草拟、日程安排、摘要和行政杂活这些任务,本地模型完全够用。

推荐理由:作者用五周约1400个日常请求测试本地35B模型,其中一半任务可完成,平均响应2.8秒,比云端Claude Opus 4.5的5.8秒快2.1倍。

r/LocalLLaMA

MTP 实测:写代码能加速 71%,写小说反而变慢 9%,任务类型决定投机推理是帮忙还是帮倒忙

一位 Reddit 用户用 Qwen 3.6 27B 的 MTP 量化模型跑了 300 多次测试,发现投机推理(让模型先猜后验证)的效果完全看任务类型。写代码时草稿被采纳的比例高达 79% 到 89%,用 F16 精度跑代码生成速度提升了 171%;但换成创意写作,Q4_K_M 量化下推理速度反而慢了 9%。

推荐理由:Reddit 用户用 Qwen 3.6 27B 的 MTP 量化模型跑了 300 多次测试,发现投机推理在写代码时草稿采纳率高达 79% 到 89%,换成创意写作反而慢 9%,任务类型直接决定加速还是拖慢。

AI HOT 精选

《科学》研究:OpenAI 一年前的 o1 模型急诊诊断正确率 67%,超过医生的 50-55%

我会先打个折:这项研究用的是 OpenAI 一年前发布的 o1 模型,按现在标准已经算旧版了。测试数据来自真实急诊室,信息混乱、不完整,模型给出的正确或接近正确的诊断率达到 67%,而参与对比的医生是 50-55%。差距在早期分诊阶段最明显,那时能拿到的信息最少。研究还提到 o1 在处理结构化病例时临床推理几乎不出错。

推荐理由:《科学》刊载的研究显示,OpenAI 一年前的 o1 模型在真实急诊病例中诊断正确或接近正确率达 67%,高于参与对比医生的 50-55%,差距在信息最少的早期分诊阶段最明显。

5月10日星期日

新智元 · 公众号

大模型预测太短视?Next-ToBE 让模型多看几步,ICLR 2026 新方法在 36 项测试里赢了 35 次

华东师大和复旦的研究者发现,现在大模型训练时只盯着“下一个词”来猜,容易让模型变得自信但目光短浅。他们提出 Next-ToBE,训练时给模型一个“软目标”,让它同时参考未来几个词的信息,但推理时不用改,还是正常的逐词生成。

推荐理由:华东师大和复旦研究者提出 Next-ToBE,训练时让模型参考未来几个词的软目标,推理时仍逐词生成,在 36 项测试中赢了 35 次。

新智元 · 公众号

硅谷顶尖 AI 甩开世界一年?这篇正文其实没给实锤

这篇文章的标题抛出一个很猛的判断,说硅谷最前沿的 AI 比外界领先一年,我们用的都是“技术余晖”。但点进去后,页面直接显示“环境异常,完成验证后即可继续访问”,正文内容完全没加载出来。

推荐理由:文章标题称硅谷最前沿 AI 领先外界一年,但正文因访问验证未能加载,实际可读内容只有标题与摘要。

量子位 · 公众号

浙大和腾讯优图搞了个会当“导演”的 AI 角色扮演框架,对话里能插旁白、场景和内心戏

浙大和腾讯优图在 ACL 2026 上发了 AdaMARP,让 AI 角色扮演不再只是你一句我一句,而是像导演一样调度四类消息:对话、旁白、场景描述和内心独白。框架里塞了个场景管理器,能根据剧情走向自动切分镜。训练数据从 81 部文学作品和 20 个合成主题里抽,评测集 AdaptiveBench 用 100 个种子场景来考模型能不能把故事讲下去。

推荐理由:浙大与腾讯优图提出 AdaMARP,用对话、旁白、场景和内心独白四类消息让 AI 角色扮演具备导演式调度,评测集覆盖 100 个种子场景。