跳到正文

评测基准

模型到底谁强:Benchmark 成绩、评测方法论争议与排行榜变化的持续记录。

最新精选

第 221–240 条 · 共 471 条

6月1日星期一

Import AI

AI 监管比想象中难;蛋白质折叠模型也找到了规模定律;有人给 AI 灭绝风险估了个价

这期 Import AI 聊了几件事。美国 AI 经济的真实增速可能被严重低估了:名义 GDP 在 2025 年约 2500 亿美元,但算上质量提升,实际年增速接近 2600%。之所以在常规统计里看不出来,是因为 AI 推理价格跌得和性能涨得几乎一样快,而且数据中心建设规模还没大到能明显拉动 GDP。

推荐理由:这期 Import AI 把 AI 灭绝风险当作可定价的经济问题来讨论,并给出美国 AI 经济名义规模约 2500 亿美元、质量调整后年增速接近 2600% 的估算。

r/LocalLLaMA

网友在双 DGX Spark 上跑 DeepSeek V4 Flash:预填充 1680 token/s,解码 39.8 token/s

一位 Reddit 用户用两台华硕 GX10(DGX Spark)组了个小集群,通过 vLLM 加载 DeepSeek-V4-Flash 模型。在 256K 上下文窗口、开启多 token 预测(MTP=2)的设置下,测得预填充速度 1680 token/s,解码速度 39.8 token/s。

推荐理由:Reddit 用户用两台华硕 GX10 组成集群,在 256K 上下文下实测 DeepSeek-V4-Flash 的预填充与解码速度,并给出张量并行、RoCE 网络等完整配置。

AI HOT 精选

MWC26 上海要办人形机器人点球大战,宇树科技等 8 支队伍上场,全程自主、不靠遥控

GSMA 宣布在 2026 年 6 月 24 日至 25 日的 MWC 上海搞一场人形机器人点球比赛,这是全球头一回。8 支国内具身智能团队参加,包括宇树科技、灵心巧手等。规则参照世界杯点球,双方各罚 5 轮,射门和守门的都是机器人,平局后一球定胜负。关键限制是机器人必须自己识别球和守门员位置、决定射门角度并控制发力,不能由人遥控,也不能跑预设脚本。

推荐理由:MWC上海将办一场人形机器人点球赛,宇树科技等8支队伍参赛,规则要求机器人自主识别球与守门员位置并决定射门角度和发力,不能遥控或跑预设脚本。

5月31日星期日

r/LocalLLaMA

用 44 小时 RTX 5090 给 Gemma 4 E2B 做了 13 个“去限制”变体,有害指令成功率从 32% 飙到 82% 以上

这篇帖子来自 Reddit 的 r/LocalLLaMA,作者 Abliterlitics 用 44 小时的 RTX 5090 算力,对 Gemma 4 E2B 模型做了 13 种不同强度的“去限制”(abliteration)处理。简单说,就是通过修改模型内部参数,削弱它对敏感问题的拒绝回答倾向。

推荐理由:作者用 44 小时 RTX 5090 算力对 Gemma 4 E2B 做了 13 种强度的去限制处理,并列出各变体的基准分与有害指令通过率,从 32% 升至 82% 以上。

r/LocalLLaMA

PolyRange:一个防考题泄露、专测 AI 攻击能力的靶场,每次出题都不一样

PolyRange v1.0 把 OWASP 测试指南里的 12 大类、84 种攻击手法做成了动态靶场。它不靠固定题库,而是每次部署时让一个大模型现场生成新靶机和防守策略,分两档难度,最后用“AI 提交攻击结果、裁判机验证”的方式打分。整套环境一条命令就能在 Fly.io 或 Docker 上跑起来。

推荐理由:PolyRange 把 OWASP 测试指南的 12 大类 84 种攻击手法做成动态靶场,每次部署由大模型现场生成新靶机和防守策略,用 AI 提交、裁判机验证的方式打分。

机器之心 · 公众号

人大高瓴发了一篇40页综述,专门讲怎么给大模型打分

这篇综述把“评分标准(Rubrics)”这件事拆成了五个部分来讲:定义、怎么构建、怎么用来训练、怎么用来评估、以及还没解决的难题。它想回答一个很实际的问题:在模型能自己调用工具、走流程干活的 Agent 时代,光看答案对不对已经不够了,得有一套更细的尺子来衡量“好答案”到底好在哪里。

推荐理由:人大高瓴团队用40页综述把评分标准拆成定义、构建、训练、评估与未解难题五部分,回应Agent时代光看答案对错已不够的评测需求。

机器之心 · 公众号

微软开源 SkillOpt:像训练神经网络一样,自动优化给 AI 智能体看的技能说明书

微软放出了一个叫 SkillOpt 的开源框架,一周就在 GitHub 上拿了 3300 多颗星。它的思路挺直接:不改模型本身的参数,而是像做文本版梯度下降一样,自动迭代优化那些写给 AI 智能体看的“技能文档”。论文里的实验覆盖了 7 个目标模型、6 个评测基准和 3 种执行环境,总共 52 种组合,结果要么最好,要么并列最好。

推荐理由:微软开源的 SkillOpt 不改模型参数,而是自动迭代写给智能体的技能文档,实验覆盖 7 个目标模型、6 个基准和 3 种环境共 52 种组合。

5月30日星期六

新智元 · 公众号

Anthropic 内部流出一份 Claude 流畅度评分表,最高 11 分,优秀人类能拿 7.5

这份评分表把用户跟 Claude 的对话拆成 11 个可观察的行为指标来打分,满分 11 分。背后的研究用了 9830 组匿名多轮对话,发现高质量对话里 85.7% 都出现了“反复修改追问”这个动作。正文没披露具体评分细则和实验设计细节,目前只能看到评分框架,所以这个 7.5 分到底怎么算出来的还不清楚,先别太激动。

推荐理由:Anthropic 用 9830 组匿名多轮对话拆出 11 项行为指标给用户打分,其中 85.7% 的高质量对话都出现反复修改追问,这条呈现了 AI 公司如何定义高质量使用。

量子位 · 公众号

人大和至知研究院开源了 Claw Agent 的全套训练方案,连数据带模型和评测一起给了

人大和至知研究院放出了一个叫 ClawGym 的 Agent 训练框架,把数据、训练代码和模型权重都开源了。他们合成了 13500 条可执行的任务当训练数据,又做了 200 条任务的基准测试集。

推荐理由:人大与至知研究院开源 ClawGym,把 13500 条可执行任务数据、训练代码和模型权重一并放出,并配套 200 条任务的基准测试集,为 Agent 训练提供了可直接复现的完整起点。

机器之心 · 公众号

港中文新优化器 Pion 在“等谱流形”上更新大模型,解决 AdamW 和 Muon 训练崩溃问题

香港中文大学等团队搞了个新优化器叫 Pion,核心思路是不动权重矩阵的奇异值,只在“等谱流形”上做正交等价变换来更新参数。他们拿一个 6000 万参数、没用归一化层的类 LLaMA 模型试跑,Pion 稳定训练了 96 亿个 token,而 AdamW 和 Muon 都崩出 NaN 了。

推荐理由:香港中文大学团队提出优化器 Pion,保持权重矩阵奇异值不变、仅在等谱流形上做正交变换更新参数,在 6000 万参数无归一化模型上稳定训练 96 亿 token,而 AdamW 和 Muon 均出现 NaN。

r/LocalLLaMA

网友实测 Gemma 4 和 Qwen 3.6 的 MTP 加速:vLLM 上推理速度提升 3.34 倍

一位老哥在 RTX PRO 6000 显卡上跑了 MTP(多 token 预测,一次猜好几个词来加速生成)的测试。他用 vLLM 跑 Gemma 4 31B 模型,开了 MTP 后速度从每秒 39.69 个 token 飙到 132.52 个,快了 3.34 倍。测试是跑 10 次、每次生成 1500 个 token 取的结果。

推荐理由:一位用户在 RTX PRO 6000 上用 vLLM 测试 Gemma 4 31B 开启 MTP 前后的推理速度,从每秒 39.69 个 token 提升到 132.52 个,给出具体硬件与框架下的实测数据。

5月29日星期五

纽约时报中文网

Anthropic 估值冲到 9000 亿美元,把 OpenAI 挤下最贵 AI 初创公司位置

Anthropic 刚拿了 650 亿美元新融资,投前估值 9000 亿美元,超过了 OpenAI 上一轮的 7300 亿。公司同时发了新旗舰模型 Claude Opus 4.8,在 Vals AI 的 vibe coding(用口语化指令写代码)基准上比自家前代高了 10%。

推荐理由:Anthropic 以 650 亿美元新融资把投前估值推到 9000 亿,超过 OpenAI 上一轮的 7300 亿,基础模型头部公司的估值座次出现更替。

新智元 · 公众号

DeepSeek 三款模型冲进 OpenRouter 月榜前十,总消耗超 17 万亿 Token

OpenRouter 的月度统计显示,DeepSeek 有三款模型进了前十,加起来的 Token 消耗量超过 17 万亿。其中 V4 Flash 一个模型就占了 9.13 万亿 Token,用量很猛。

推荐理由:OpenRouter 月度统计显示 DeepSeek 三款模型进入前十,合计消耗超 17 万亿 Token,其中 V4 Flash 单款占 9.13 万亿,可了解国产模型在聚合平台上的实际调用规模。

AI HOT 精选

Adam's Law:用模型训练时见过的高频词写提示,效果更好

FaceMind 团队在 100 种语言和四类核心任务上做了实验,结论很简单:保持意思不变,把提示词或微调文本换成预训练语料里出现频率更高的说法,大模型的表现会明显提升。他们把这个规律叫 Adam's Law(文本频率定律),相当于给数据工程补上了“频率”这个维度。原理不复杂——高频表达让模型在自己最熟悉的概率空间里干活,输出质量自然更稳。

推荐理由:FaceMind 团队在 100 种语言和四类任务上验证,把提示词换成预训练语料中的高频说法能提升大模型表现,为提示词写法提供了一个频率维度的思路。

AI HOT 精选

特斯拉说 FSD 比人安全十倍,但训练它的员工自己都不敢坐

路透社扒了特斯拉的安全报告,发现“比人类安全 10 倍”这个说法站不住脚。特斯拉拿自己车气囊弹出的数据,去跟全美所有车辆(包括老车)的普通事故率比,11 位交通安全研究员看了直摇头,说这是误导性营销。更扎心的是,9 名前数据标注员和 1 名前工程师爆料,FSD 连避让校车、紧急车辆这种基础操作都还搞不定。

推荐理由:路透社核查特斯拉安全报告,11 位交通安全研究员指出其用自家气囊数据对比全美平均事故率的统计口径问题,另有 10 名前员工透露 FSD 在避让校车等基础场景上的表现。

5月28日星期四

量子位 · 公众号

用有限状态机给 GUI Agent 合成训练轨迹,每条成本压到 0.04 美元

这篇讲的是 AutoWebWorld 这个项目,它没有靠人工标注或大模型当裁判,而是用有限状态机(FSM)来定义网页的状态、前置条件和跳转规则,自动生成并验证 GUI Agent 的操作轨迹。最终合成了 29 个网页环境、875 个页面和 11663 条经过验证的轨迹,平均每条轨迹的成本大约 0.04 美元。

推荐理由:AutoWebWorld 用有限状态机定义网页状态与跳转规则,自动生成并验证 GUI Agent 轨迹,合成了 11663 条轨迹,平均每条成本约 0.04 美元。

r/LocalLLaMA

一张 RTX 3060 12GB 跑通 Qwen3.6-35B-A3B,128K 上下文生成速度 37 token/秒

用户 old-mike 在一张 RTX 3060 12GB 显卡上,用 spiritbuun 的 llama.cpp 优化分支和 mudler 的 APEX 量化模型,成功跑起了 17.3GB 的 Qwen3.6-35B-A3B。在已填充 72K 上下文时,生成速度达到 37.17 token/秒。

推荐理由:用户 old-mike 在单张 RTX 3060 12GB 上以 llama.cpp 优化分支和 APEX 量化跑起 17.3GB 的 Qwen3.6-35B-A3B,填充 72K 上下文时生成速度 37 token/秒,给出了消费级显卡跑大模型的具体配置与速度参考。

Latent Space

Cognition 拿了 10 亿美元,估值冲到 260 亿,预计年底年经常性收入超 10 亿

Cognition 完成了 10 亿美元的 D 轮融资,估值 260 亿美元,比 8 个月前 C 轮时的 100 亿估值涨了 1.5 倍。公司自己预计到年底年经常性收入能超过 10 亿美元,客户里包括 Exa 和 Modal 这类挑剔的企业。正文没披露具体的利润率或成本结构,所以这个收入数字先别直接等同于利润。

推荐理由:Cognition 完成 10 亿美元 D 轮融资,估值 260 亿美元,8 个月内从 100 亿涨到 260 亿,AI 编程 agent 赛道的资本热度由此有了一个具体参照。

机器之心 · 公众号

Mila 和 DeepMind 搞了个大一统的缩放定律公式 UNSL,想把参数量、数据量、训练步数这些变量塞进同一个框架里

正文因为微信环境异常被屏蔽了,具体技术细节看不到。从标题和已有英文摘要看,这篇论文提出了一种叫 UNSL(统一神经缩放定律)的多变量公式,不再只看模型参数或数据量单一维度,而是同时建模参数量、token 数、训练步数,还考虑了训练瓶颈、过拟合以及超参数调不好的负面影响。

推荐理由:Mila 与 DeepMind 提出 UNSL,把参数量、token 数和训练步数放进同一缩放公式,并纳入训练瓶颈与过拟合的影响,为多变量下的训练配置估算提供统一框架。

Computing Life · Share · 鸭哥调研

SWE-Bench Pro 测不出模型差距了,有人重做了一把尺子,分差直接拉到 62 个百分点

SWE-Bench Pro 的排行榜上,GPT-5.5 和 Claude Opus 4.7 都挤在 82 分附近,看起来差不多。但 Datacurve 团队新发布的 DeepSWE 基准,让同一批模型跑出了 62 个百分点的差距:GPT-5.5 拿了 70%,Claude Opus 4.7 是 54%,DeepSeek V4 Pro 只有 8%。

推荐理由:Datacurve 团队发布 DeepSWE 基准,让同一批模型跑出 62 个百分点差距,而它们在 SWE-Bench Pro 上仅相差几分,这组对比直接说明旧基准已难以区分模型能力。