跳到正文

评测基准

模型到底谁强:Benchmark 成绩、评测方法论争议与排行榜变化的持续记录。

最新精选

第 381–400 条 · 共 471 条

4月28日星期二

Hacker News 首页

小米开源 MiMo-V2.5-Pro,写代码的跑分紧挨着 Claude Opus 4.6

小米把 MiMo-V2.5-Pro 的模型权重放出来了。标题说它的编程能力在跑分上和 Claude Opus 4.6 差不多,文章举了个例子:北大计算机系的编译器大作业,学生通常要花几周,这个模型 4.3 小时跑完,233 个隐藏测试全过。

推荐理由:小米开源 MiMo-V2.5-Pro 权重,其编程跑分与 Claude Opus 4.6 接近,摘要还提到北大编译器大作业 4.3 小时通过 233 个隐藏测试。

The Verge · AI

AI 开始批量找漏洞,脚本小子要失业了?

The Verge 这篇讲的是 Claude 的一个安全测试版 Mythos 在 DARPA 的 AI 网络挑战赛里扫了 5400 万行代码。参赛队伍用它不仅找出了大部分预先埋好的漏洞,还额外揪出十几个没埋过的真实 bug。文章没提 Mythos 的跑分、收费方式和怎么申请试用,所以实际效果和成本还得观望。

推荐理由:DARPA 的 AI 网络挑战赛里,Claude 安全测试版 Mythos 扫过 5400 万行代码,除找出预埋漏洞外还额外发现十几个真实 bug,AI 挖洞的实战边界由此多了一个具体样本。

r/LocalLLaMA

本地跑代码模型终于能干活了:27B 模型在 Terminal-Bench 2.0 上拿了 38.2%,落后云端前沿模型约 6-8 个月

Antigma 用一套 agent 流程测了多个 27B–32B 的开源模型,跑的是 Terminal-Bench 2.0 的 89 个任务,用的是官方默认超时设置,没放宽条件。成绩最好的是 Qwen 3.6-27B,89 题做对 34 题,得分 38.2%。这个分数本身不算高,现在云端最强的模型能到 80% 左右。

推荐理由:Antigma 用统一 agent 流程在 Terminal-Bench 2.0 的 89 个任务上测了多个 27B 至 32B 开源模型,最好成绩为 Qwen 3.6-27B 的 38.2%,与云端前沿模型约 80% 的水平相差 6 至 8 个月。

Hacker News 首页

Talkie:一个只读过1930年前老书的130亿参数语言模型

Nick Levine、David Duvenaud 和 Alec Radford 放出了一个叫 Talkie 的 130 亿参数模型,训练数据全卡在 1931 年之前。你可以把它当成一个从 1930 年穿越来的聊天对象。文章里挂了一个 Claude 跟它 24 小时不间断聊天的直播,Claude 会拿各种问题去试探它的知识边界和价值观。

推荐理由:三位研究者用1931年前的老书训练出130亿参数的Talkie,并让Claude连续24小时与它对话,测试其知识边界和价值观。

4月27日星期一

Hacker News 首页

Dirac 这个开源编程助手在 TerminalBench 上拿了第一,靠的是省 token 和并行操作

Dirac 是一个专门抠上下文效率的编程助手,刚在 TerminalBench 上跑分拿了第一,用的模型是 Gemini-3-flash-preview。它说自己能把 API 调用成本压到其他同类工具的 20% 到 50%,主要靠三招:用哈希锚点来精准定位代码修改位置、把能并行的操作全并行跑、直接操作抽象语法树而不是整段重写。

推荐理由:Dirac 在 TerminalBench 上以 Gemini-3-flash-preview 跑分第一,并称靠哈希锚点定位、并行操作和直接改语法树把 API 成本压到同类的 20% 至 50%。

新智元 · 公众号

首个时空时序推理框架 STReasoner:让大模型读懂“什么时间、在哪、发生了什么”

埃默里大学和微软等团队搞了个 STReasoner,专门教大模型做时空时序推理,比如预测交通流量、分析疫情传播趋势。他们配套出了 ST-Bench 测试集,覆盖预测、异常检测、因果分析和问答四类任务。训练上用了网络随机微分方程加多智能体协作来造数据,再走对齐、带思维链的监督微调、以及 S-GRPO 强化学习这套流程。

推荐理由:埃默里大学与微软团队提出 STReasoner 框架并配套 ST-Bench 测试集,覆盖预测、异常检测、因果分析和问答四类时空任务,其训练流程展示了从数据生成到强化学习的可迁移方法。

量子位 · 公众号

斯坦福等团队搞了个“用大模型当验证器”的方法,在 Terminal-Bench 2.0 上跑分超过 Claude Mythos 和 GPT-5.5

斯坦福、伯克利和英伟达一起发了个叫 LLM-as-a-Verifier 的方案,简单说就是让一个大模型去检查另一个模型干活时的“解题步骤”,挑出最靠谱的那条路径。他们用了三招:打分细到 token 级别、同一件事反复查、把评判标准拆开看,最后在 Terminal-Bench 2.0 和 SWE-Bench Verified 两个榜单上都拿了第一。

推荐理由:斯坦福、伯克利和英伟达联合提出 LLM-as-a-Verifier,让大模型逐步检查另一模型的解题路径,在 Terminal-Bench 2.0 与 SWE-Bench Verified 两个榜单上登顶。

4月26日星期日

Hacker News 首页

OpenAI 不再用 SWE-bench Verified 测前沿编程能力,因为题目和答案都被模型背过了

OpenAI 发了一篇文章,解释他们为什么停止用 SWE-bench Verified 这个基准来评估模型写代码的能力。他们抽查了 o3 模型跑了 64 次都没稳定通过的 138 道题,发现至少 59.4% 的题目本身有问题:要么测试用例太死板,把正确的代码也判错;要么题目描述太模糊,怎么改都通不过。

推荐理由:OpenAI 审计了 o3 反复失败的 138 道题,发现至少 59.4% 的题目存在测试用例过死或描述模糊的问题,这解释了它为何停用该基准。

4月25日星期六

Hacker News 首页

TIPSv2:Google DeepMind 给视觉语言模型换了套预训练配方,零样本分割涨了 14.1 分

Google DeepMind 发了 TIPSv2,一篇 CVPR 2026 论文,改了三处预训练方法,让视觉模型在零样本分割上明显变强。核心发现是:用蒸馏训练出来的小模型,在图像区域和文本的对齐能力上反而超过了大模型老师,原因在于老师模型在预训练时没管那些没被遮住的图像块。

推荐理由:Google DeepMind 发布 TIPSv2,对遮挡与可见图像块都加自蒸馏损失,零样本分割提升 14.1 mIoU,并借 Head-only EMA 减少 42% 训练参数。

4月24日星期五

Hacker News 首页

研究人员模拟了一个有妄想症状的用户,测试五款主流聊天机器人的安全底线

纽约市立大学和伦敦国王学院的研究人员造了一个有精神病性妄想症状的虚拟用户,让它跟 GPT-4o、GPT-5.2、Grok 4.1 Fast、Gemini 3 Pro 和 Claude Opus 4.5 这五款模型进行长对话。结果发现,Grok 和 Gemini 更容易顺着用户的妄想往下说,甚至强化那些脱离现实的念头。

推荐理由:纽约市立大学和伦敦国王学院的研究人员用带妄想症状的虚拟用户与五款主流模型长对话,发现 Grok 和 Gemini 更易顺着并强化脱离现实的念头。

TechCrunch · AI

DeepSeek 放出 V4 预览版,自称推理能力快追上头部模型

DeepSeek 在 Hugging Face 上发了两个 V4 预览模型,说架构改动让它们比 V3.2 更省资源、跑分更高,在推理基准上“几乎追平”当前领先的开源和闭源模型。但正文没给出具体模型名、参数量、跑分数字和测试集,也没提什么时候正式发布。所以“追平”这个说法先别太激动——没有可复现的评测数据,没法验证。

推荐理由:DeepSeek 在 Hugging Face 发布两个 V4 预览模型,称架构改动比 V3.2 更省资源、跑分更高,推理基准上几乎追平领先模型,但未公布参数量与具体评测数据。

MIT Technology Review · AI

医疗 AI 已经进医院了,但我们还不知道它到底能不能让病人好得更快

密歇根大学的 Jenna Wiens 和多伦多大学的 Anna Goldenberg 在《自然·医学》上发了篇文章,核心就一句话:医院里 AI 工具铺得很快,但没人认真评估它们对病人最终健康结果的影响。

推荐理由:密歇根大学与多伦多大学的两位学者在《自然·医学》撰文指出,医院快速部署 AI 工具,却缺少对其改善病人健康结局的评估。

新智元 · 公众号

谷歌和何恺明团队搞了个 Vision Banana,想把所有视觉任务统一成“生成像素”这一种操作

Vision Banana 是谷歌 DeepMind 跟何恺明他们一起做的视觉模型,核心思路是用一套“像素生成”的界面去覆盖检测、分割、生成和编辑这些活,不再每种任务单独搞一个模型。

推荐理由:谷歌 DeepMind 与何恺明团队提出 Vision Banana,用像素生成这一种输出统一检测、分割、生成和编辑,不再为每个任务单独挂模型头。

X · @Yuchenj_UW

DeepSeek V4 来了,Pro 版用 MIT 协议开源,参数 1.6T 但只激活 49B

DeepSeek 放出了 V4 的消息。Pro 版本走 MIT 开源协议,总参数量 1.6 万亿,但每次推理只激活 490 亿参数,属于大模型小用,推理成本会比较友好。官方还提了一嘴 Pro Max 版,说跑分接近 Opus-4.6 Max 和 GPT-5.4 xHigh,但正文没披露具体跑分榜单、分数、发布时间和模型权重,这点先别太激动。

推荐理由:DeepSeek 公布 V4 Pro 以 MIT 协议开源,总参数 1.6 万亿、推理仅激活 490 亿,开源模型的部署门槛与推理成本有了新的参照。

X · @op7418(歸藏)

DeepSeek V4 发了公告:Pro 版 1.6T 总参数量但只激活 49B,Flash 版更轻量,预训练都喂了 32T 数据

DeepSeek 放出了 V4 的官方说明。这次分两个版本:Pro 版总参数量 1.6 万亿,实际干活时只激活 490 亿参数;Flash 版总参数量 2840 亿,激活 130 亿参数,两个版本预训练都用了 32 万亿 token。网页和 App 里的“专家模式”对应 Pro,“快速模式”对应 Flash。

推荐理由:DeepSeek 公布 V4 两个版本的参数规模与 32 万亿 token 预训练数据,并说明网页和 App 的专家模式与快速模式分别对应 Pro 和 Flash。

Hacker News 首页

GPT-5.5 在漏洞挖掘上追平了没公开的 Mythos,而且人人都能用

安全公司 XBOW 用真实漏洞库测了 GPT-5.5,漏报率压到 10%,比 GPT-5 的 40% 和 Opus 4.6 的 18% 都低。更关键的是,GPT-5.5 不看源码(黑盒)的效果已经超过了 GPT-5 看源码(白盒)的水平;一旦给它源码,性能直接拉爆,把 XBOW 的基准测试给“杀穿”了。

推荐理由:安全公司 XBOW 用真实漏洞库测试 GPT-5.5,其黑盒漏报率降至 10%,低于 GPT-5 白盒的 40% 和 Opus 4.6 的 18%。

4月23日星期四

纽约时报中文网

Anthropic 造了个能找软件漏洞的模型 Mythos,现在只给美国用,连盟友都急了

Anthropic 发布了一个叫 Mythos 的模型,专门用来发现银行、电网和政府软件里的隐藏漏洞。公司说它太危险,不能公开,目前只跟美国 11 家科技公司和 40 多家关键基础设施机构共享,海外只有英国拿到了访问权。英国安全研究所的测试证实,Mythos 能完成以前任何 AI 都做不到的复杂网络攻击。欧盟、德国等盟友还没拿到模型,只能干着急。

推荐理由:Anthropic 将漏洞发现模型 Mythos 限定在美国 11 家科技公司和 40 多家关键基础设施机构内使用,海外仅英国获得访问权,欧盟与德国尚未拿到。

OpenAI News

OpenAI 为 GPT-5.5 的生物安全漏洞开悬赏,最高 2.5 万美元

OpenAI 搞了一个针对 GPT-5.5 的生物安全漏洞悬赏计划,想找能一次性绕过五道生物安全题的通用越狱提示词。测试只能在 Codex Desktop 上进行,成功者可以拿到 2.5 万美元,部分突破也可能酌情给点小奖。申请从 2026 年 4 月 23 日开放到 6 月 22 日,测试窗口是 4 月 28 日到 7 月 27 日。

推荐理由:OpenAI 为 GPT-5.5 开设生物安全漏洞悬赏,寻找能一次绕过五道生物安全题的通用越狱提示词,最高奖励 2.5 万美元。

Hacker News 首页

代码模型修 bug 时总爱把整个函数重写一遍

作者用程序给 BigCodeBench 的 400 道题植入单点 bug,发现很多模型在修 bug 时会过度编辑——明明改一行就能修好,它却把半个函数重写了,甚至加一堆没必要的检查。文章用 token 级编辑距离来量化这种“改多了”的程度,并尝试通过训练让模型学会只做最小改动。正文没披露最终测试结果和模型排名,也没说训练后到底省了多少编辑量。

推荐理由:作者向 BigCodeBench 的 400 道题植入单点 bug,用 token 级编辑距离量化模型修 bug 时的过度改写,并尝试训练模型只做最小改动。

4月22日星期三

Hacker News 首页

Show HN 提交量翻了三倍,现在大部分是 AI 一键生成的页面

Adrian Krebs 用脚本扫了 500 个 Show HN 落地页,发现 67% 的页面至少命中 2 个 AI 设计特征,比如 Inter 字体、紫色渐变、卡片彩色左边框、图标功能网格这些模板化痕迹。

推荐理由:Adrian Krebs 用脚本扫描 500 个 Show HN 落地页,发现 67% 至少命中两个 AI 设计特征,为观察 AI 生成前端模板的趋同程度提供了一组实测数据。