跳到正文

评测基准

模型到底谁强:Benchmark 成绩、评测方法论争议与排行榜变化的持续记录。

最新精选

第 361–380 条 · 共 471 条

5月3日星期日

新智元 · 公众号

谷歌搞了个“最毒”AI面试官,专测你在压力下怎么跟人合作

谷歌研究院和纽约大学一起做了个叫 Vantage 的 AI 角色扮演系统,专门模拟高压工作场景,看你怎么处理冲突、推进项目。他们找了 188 个 18 到 25 岁的美国人测试,让 AI 扮演难搞的同事或客户,一步步施压,再从对话里抓你的行为打分。打分结果和真人专家的一致性 Kappa 值在 0.45 到 0.64 之间,跟专家之间的互评一致性差不多。

推荐理由:谷歌研究院与纽约大学用 Vantage 让 AI 扮演难搞同事和客户,在高压对话中评估 188 名年轻人的冲突处理方式,其与真人专家的一致性接近专家互评水平。

新智元 · 公众号

斯坦福团队用 AI 从零设计出全新噬菌体,16 个能感染并杀死大肠杆菌

斯坦福和 Arc 研究所的研究人员用他们训练的模型 Evo,直接生成了 302 个噬菌体基因组,其中 16 个成功感染了大肠杆菌、完成自我复制并最终裂解了宿主细胞。这相当于 AI 不靠自然界已有的病毒模板,凭空造出了能干活的新病毒。Evo 模型基于 StripedHyena 2 架构,一次能处理 100 万个碱基对的长序列。

推荐理由:斯坦福与 Arc 研究所用 Evo 模型直接生成 302 个噬菌体基因组,其中 16 个能感染大肠杆菌并完成复制裂解,展示了不依赖天然模板设计完整病毒基因组的路径。

r/LocalLLaMA

M1 Max 本地跑 10 个生图模型横评:Qwen-Image 蒸馏版 8 步出图比原版快 9 倍

一位 Reddit 用户在自己的 M1 Max(64GB 内存)上测了 10 个图像模型,从 SD 1.5 一路测到 Flux dev、Qwen-Image 和 Gemini。Qwen-Image Lightning 用 8 步蒸馏把出图时间从 93 分钟压到 10 分钟,效果还比原版好。

推荐理由:Reddit 用户用 M1 Max 实测 10 个图像模型,Qwen-Image Lightning 靠 8 步蒸馏把出图从 93 分钟压到 10 分钟,本地部署的提速路径由此有了具体样本。

Hacker News 首页

哈佛急诊分诊试验:OpenAI o1 诊断准确率 67%,比医生高出 12-17 个百分点

哈佛大学在急诊分诊场景下拿 OpenAI 的 o1 模型和真人医生比了一场。o1 正确诊断了 67% 的患者,而分诊医生的准确率在 50% 到 55% 之间。这个差距看着不小,但正文没披露样本量、病例构成和具体评估方法,所以数字本身只能当个方向参考。

推荐理由:哈佛在急诊分诊场景对比 OpenAI o1 与真人医生,o1 诊断准确率 67%,比医生的 50% 到 55% 高出 12 到 17 个百分点。

r/LocalLLaMA

有人复现了 TurboQuant,结果跟论文对不上

一位 Reddit 用户自己实现了 TurboQuant 这篇 KV 缓存量化方法,发现 PROD 变体在 4-bit 下跟原始精度结果的相关性大约 95.8%,远低于论文宣称的 99% 以上。作者还做了一个简单模拟,注意力质量的 top-1 准确率掉到了 67% 左右,说明量化后模型在“该关注哪个 token”这件事上退化明显。

推荐理由:一位 Reddit 用户自行复现 TurboQuant 的 KV 缓存量化方法,测得 4-bit 下 PROD 变体与原始精度的相关性约 95.8%,低于论文宣称的 99% 以上。

5月2日星期六

r/LocalLLaMA

Qwen 3.6 跑分赢,但 Gemma 4 实际用起来更省心:本地跑 27B/31B 视觉模型的 7 条实测发现

一位 Reddit 用户把 Qwen 3.6 和 Gemma 4 的 27B/31B 视觉模型拉到本地,用 vLLM 跑 FP8 精度对比。Qwen 在 GeoGuessr 这种难图上一次推理能烧掉 8000 多个 token,Gemma 经常 1500 个就搞定;Qwen 做视频还得先花 2 FPS 预处理。

推荐理由:一位 Reddit 用户用 vLLM 在本地对比 Qwen 3.6 与 Gemma 4 的 27B/31B 视觉模型,Qwen 在难图上单次推理耗 8000 多 token,Gemma 常 1500 个就完成。

Hacker News 首页

大模型筛简历时,会明显偏袒自己生成的简历

这篇论文做了一个对照实验,发现大模型在筛选简历时存在“自己人偏好”:它们更倾向把自己生成的简历挑出来,而不是人选人写的或其他模型生成的。在控制内容质量的情况下,这种自我偏好比例在 67% 到 82% 之间。

推荐理由:论文通过对照实验发现,大模型筛选简历时更倾向挑出自己生成的版本,在控制内容质量后这一比例达 67% 至 82%。

5月1日星期五

r/LocalLLaMA

OpenAI 隐私过滤器与 GLiNER 在 600 条 PII 样本上的实测对比

Reddit 上有用户拿 OpenAI 的隐私过滤器(privacy-filter)和 GLiNER large-v2.1 在 600 条含个人身份信息(PII)的样本上跑了一轮。纯 CPU 推理速度,OpenAI 模型每秒处理 2.8 条,GLiNER 是 1.1 条,前者快了一倍多。

推荐理由:Reddit 用户用 600 条含个人身份信息的样本,在纯 CPU 上对比 OpenAI 隐私过滤器与 GLiNER large-v2.1,前者每秒处理 2.8 条,后者 1.1 条。

r/LocalLLaMA

Reddit 实测 MiMo-V2.5-Pro:开源模型里跑桌游《血染钟楼》最稳的一个

Reddit 用户 cjami 拿小米的 MiMo-V2.5-Pro 在《血染钟楼》里做了自主对局测试。模型扮演好人阵营时胜率 88%,扮演坏人时胜率掉到 48%,说明它更擅长合作推理,搞欺骗和伪装还差点意思。每局平均输出 18.3 万 token,成本 0.99 美元,工具调用出错率只有 0.4%,这个错误率很低,说明模型能稳定按规则调用游戏功能。

推荐理由:Reddit 用户 cjami 用《血染钟楼》自主对局测试 MiMo-V2.5-Pro,好人阵营胜率 88%、坏人 48%,工具调用出错率 0.4%,可看开源模型在合作推理与欺骗任务上的差距。

r/LocalLLaMA

研究称大模型更“丧”,小模型反而更“快乐”

Reddit 上有人分享了一份所谓的“AI 幸福感指数”,用 500 段对话去测模型的情绪倾向。结果 Claude Haiku 4.5 的负面回复只占 5%,而 Gemini 3.1 Pro 高达 55%。不过帖子自己也说了,测试集故意塞了很多刁钻的负面对话,不代表日常使用场景。

推荐理由:Reddit 一份用 500 段对话测出的 AI 幸福感指数显示,Claude Haiku 4.5 负面回复占 5%,Gemini 3.1 Pro 达 55%,测试集本身刻意偏向负面对话。

机器之心 · 公众号

有人用 API 猜出了 GPT、Claude、Gemini 的参数量,社区吵翻了

Bojie Li 在 arXiv 发了篇论文,用黑盒 API 调用去估算 27 家厂商 188 个模型的参数量。方法叫 IKP,靠 1400 道按生僻程度分了 7 档的题,先在 89 个已知参数量的开源模型上拟合,拟合度 R² 到 0.917。

推荐理由:Bojie Li 用黑盒 API 调用估算 27 家厂商 188 个模型的参数量,方法先在 89 个已知开源模型上拟合到 R² 0.917,社区对结论争议不小。

r/LocalLLaMA

32 块 AMD MI50 老卡跑 Kimi K2.6 模型,生成速度 9.7 token/秒

Reddit 用户 ai-infos 用 32 块 AMD MI50 32GB 显卡(分两台机器,每台 16 卡,走 10G 网线)跑 Kimi K2.6 的 int4 量化版。处理 1.4 万多字的输入时,预处理速度能到 264 token/秒;生成 136 个字的回答时,速度掉到 9.7 token/秒。

推荐理由:Reddit 用户用 32 块二手 AMD MI50 32GB 显卡分两台机器跑 Kimi K2.6 的 int4 量化版,实测预处理 264 token/秒、生成 9.7 token/秒,为低成本自建推理集群留下一组硬件与网络配置数据。

r/LocalLLaMA

Qwen3.6-27B 在单张 RTX 3090 上跑到 21.8 万上下文,工具调用也稳了

一位 Reddit 用户用一张 24GB 显存的 RTX 3090 跑 Qwen3.6-27B(一个 270 亿参数的模型),把上下文窗口推到了约 21.8 万个 token,生成速度在每秒 50 到 66 个 token 之间。

推荐理由:一位 Reddit 用户用单张 24GB 的 RTX 3090 把 Qwen3.6-27B 的上下文推到约 21.8 万 token,生成速度每秒 50 到 66 个 token,并修复了工具调用的显存溢出问题。

r/LocalLLaMA

RTX 5080 16GB 跑长上下文编程:Qwen3.6-35B-A3B 在 128K 窗口下稳在 30 t/s,刚启动时能到 89 t/s

一位 Reddit 用户用 RTX 5080 16GB 显卡本地跑编程 agent,测了 Qwen3.6-35B-A3B 这个 MoE 模型(总参数 35B,每次激活 3B)。刚加载完上下文时速度有 89 t/s,等上下文塞满到 128K token 后,生成速度还能维持在 30 t/s,而且回复质量没掉。

推荐理由:Reddit 用户用 RTX 5080 16GB 本地跑 Qwen3.6-35B-A3B 编程 agent,128K 上下文下生成速度仍保持 30 t/s,刚加载完为 89 t/s。

4月30日星期四

r/LocalLLaMA

实测:本地跑 Qwen-3.6-27B 跟闭源模型比,到底差多少

作者拿一个自动研究循环任务测了 5 个模型,只有 Qwen-3.6-27B 接近完成。本地用 q4_k_m 量化版跑了约 8 小时,消耗 3.9 万 token(上限 4.5 万);作为对比,全精度 Qwen 通过 OpenRouter 调用用了 440 万 token,花费 0.939 美元。

推荐理由:作者用自动研究循环任务对比本地量化版 Qwen-3.6-27B 与闭源模型,只有它接近完成,并给出 3.9 万 token 与全精度版 440 万 token 的消耗差距。

机器之心 · 公众号

Alec Radford 用只学到 1930 年的模型,接下了哈萨比斯的 AGI 考题

Alec Radford 团队训了一个 13B 的模型,训练数据全是 1931 年之前的英文文本,总共 2600 亿 token。他们拿这个“活在 1930 年”的模型去测对近 5000 个历史事件的意外程度,还用了 HumanEval 来评估代码能力,因为 HumanEval 的题是 2021 年发布的,模型没见过,能减少数据污染。

推荐理由:Alec Radford 团队用 1931 年前英文文本训练 13B 模型,以近 5000 个历史事件测其对战后事件的意外程度,为数据污染与评测设计提供参照。

Hacker News 首页

SOB 基准测试:专门给大模型的结构化输出能力挑错

Interfaze 发布了一个叫 SOB 的基准测试,专门看大模型从文本、图片、音频里提取信息并输出成 JSON 时,到底靠不靠谱。它不像老测试只看 JSON 格式对不对,而是重点查字段里的值准不准——比如发票金额有没有瞎编。测试覆盖了 5000 条文本、209 张图片和 115 段音频,每道题都有人工核对过的标准答案。

推荐理由:Interfaze 发布 SOB 基准,用 5000 条文本、209 张图片和 115 段音频测大模型结构化输出,重点查字段值是否准确而非仅 JSON 格式。

4月29日星期三

新智元 · 公众号

清华团队花约10万美元、一周时间,让系统自动刷出105个SOTA

清华徐丰力团队和北京中关村实验室搞了个叫AutoSOTA的系统,放养式跑了一周,烧掉约220亿token,产出了105个所谓的最优结果。系统里塞了8个智能体,分别负责搭环境、修bug、排任务、想点子、做审计。每完整跑一轮平均5小时。最关键的是它设了条红线:不准改评估脚本和数据划分,靠这个来保证结果能复现。

推荐理由:清华徐丰力团队用8个智能体组成AutoSOTA系统,一周内自动产出105个SOTA结果,并禁止修改评估脚本和数据划分来保证可复现。

新智元 · 公众号

生数科技 MotuBrain 在 WorldArena 和 RoboTwin2.0 两个榜单同时登顶

生数科技新模型 MotuBrain 拿了两个第一:在 WorldArena 世界模型榜单上得分 63.77 EWM,在 RoboTwin2.0 的干净和随机两个测试里分别拿到 95.8 和 96.1 分。

推荐理由:生数科技 MotuBrain 在 WorldArena 与 RoboTwin2.0 两个榜单同时登顶,WorldArena 得分 63.77 EWM,RoboTwin2.0 干净与随机测试分别为 95.8 和 96.1 分。

r/LocalLLaMA

双卡 RTX 5060 Ti 16GB 跑通 Qwen3.6 27B,vLLM 下跑到约 60 tok/s,支持 204K 上下文

一位用户用两张 RTX 5060 Ti 16GB 显卡,通过 vLLM 部署了 Qwen3.6 27B 模型。实测在 8K 上下文时生成速度约 62–66 tok/s,两张卡共占用 32GB 显存。配置上开了张量并行(TP=2)、fp8 KV 缓存、多 token 预测(MTP 一次猜 3 个 token),并把上下文窗口拉到了 204800。

推荐理由:一位用户用两张 RTX 5060 Ti 16GB 通过 vLLM 部署 Qwen3.6 27B,实测 8K 上下文生成约 62–66 tok/s,并列出张量并行、fp8 KV 缓存与 MTP 等具体配置。