跳到正文

评测基准

模型到底谁强:Benchmark 成绩、评测方法论争议与排行榜变化的持续记录。

最新精选

第 361–380 条 · 共 453 条

4月29日星期三

新智元 · 公众号

生数科技 MotuBrain 在 WorldArena 和 RoboTwin2.0 两个榜单同时登顶

生数科技新模型 MotuBrain 拿了两个第一:在 WorldArena 世界模型榜单上得分 63.77 EWM,在 RoboTwin2.0 的干净和随机两个测试里分别拿到 95.8 和 96.1 分。官方说它是在 Motus 基础上加了视频-动作联合建模、Latent Action VAE、MoT 和 UniDiffuser,能跨不同机器人形态做长...

推荐理由:MotuBrain 在两个榜单上拿了第一,分数看着挺漂亮。但正文没交代训练数据量、评测提交细节,也没有真实机器人的成功率数据,目前只能算单次刷榜。我会先打个折,等技术报告或实物演示出来再往上调。

r/LocalLLaMA

双卡 RTX 5060 Ti 16GB 跑通 Qwen3.6 27B,vLLM 下跑到约 60 tok/s,支持 204K 上下文

一位用户用两张 RTX 5060 Ti 16GB 显卡,通过 vLLM 部署了 Qwen3.6 27B 模型。实测在 8K 上下文时生成速度约 62–66 tok/s,两张卡共占用 32GB 显存。配置上开了张量并行(TP=2)、fp8 KV 缓存、多 token 预测(MTP 一次猜 3 个 token),并把上下文窗口拉到了 204800。显存是瓶...

推荐理由:H、K、R 全中。帖子是一手实测,硬件、vLLM 参数、速度、上下文上限和显存余量都列得清楚,对想用消费级显卡跑 27B 的人有直接参考价值。唯一扣分点是来源只有 Reddit 单帖,没有更多交叉验证,所以分数停在 76 不进 78–84 那档。

4月28日星期二

Hacker News 首页

小米开源 MiMo-V2.5-Pro,写代码的跑分紧挨着 Claude Opus 4.6

小米把 MiMo-V2.5-Pro 的模型权重放出来了。标题说它的编程能力在跑分上和 Claude Opus 4.6 差不多,文章举了个例子:北大计算机系的编译器大作业,学生通常要花几周,这个模型 4.3 小时跑完,233 个隐藏测试全过。V2.5-Pro 相比之前的 Flash 版,主要提升了长任务连贯性、能处理超过一千步的复杂任务,以及让模型进业务...

推荐理由:HKR 三项都通过,因为小米发编程/Agent 权重本身是实打实的动作,从业者会想看一眼。但信息缺口很大:没参数、没许可、没具体分数,只有标题说表现突出,所以我会先打个折,重要性停在 74 分 featured 门槛附近。

The Verge · AI

AI 开始批量找漏洞,脚本小子要失业了?

The Verge 这篇讲的是 Claude 的一个安全测试版 Mythos 在 DARPA 的 AI 网络挑战赛里扫了 5400 万行代码。参赛队伍用它不仅找出了大部分预先埋好的漏洞,还额外揪出十几个没埋过的真实 bug。文章没提 Mythos 的跑分、收费方式和怎么申请试用,所以实际效果和成本还得观望。

推荐理由:这篇值得推,因为 DARPA 比赛的数据很实在——5400 万行代码扫下来,工具不仅认出了人工漏洞,还额外揪出十几个没埋的,说明 AI 挖洞确实能跑出意料之外的结果。标题的“脚本小子”说法虽然夸张,但把门槛降低这个风险讲透了。正文没给 Claude Mythos 的基准、价格或开放条件,所以没法判断它到底多强、多贵,这点先别太激动。整体信息量够上推荐位。

r/LocalLLaMA

本地跑代码模型终于能干活了:27B 模型在 Terminal-Bench 2.0 上拿了 38.2%,落后云端前沿模型约 6-8 个月

Antigma 用一套 agent 流程测了多个 27B–32B 的开源模型,跑的是 Terminal-Bench 2.0 的 89 个任务,用的是官方默认超时设置,没放宽条件。成绩最好的是 Qwen 3.6-27B,89 题做对 34 题,得分 38.2%。这个分数本身不算高,现在云端最强的模型能到 80% 左右。但有意思的是时间差:把 38.2% ...

推荐理由:我会先打个折:这是单篇 Reddit 帖子,不是论文,测试细节和复现条件正文没展开。但它的判断很实在——本地小模型跑代码已经跨过“能用”的门槛,不是遥遥领先,而是落后托管前沿 6–8 个月,这个定位比单纯报分有用。38.2% 的分数本身不高,但放在 89 个终端任务里,说明日常写脚本、调配置这类活它能接住一部分。对想离线部署、省 API 钱的团队,这个信号值得跟。

Hacker News 首页

Talkie:一个只读过1930年前老书的130亿参数语言模型

Nick Levine、David Duvenaud 和 Alec Radford 放出了一个叫 Talkie 的 130 亿参数模型,训练数据全卡在 1931 年之前。你可以把它当成一个从 1930 年穿越来的聊天对象。文章里挂了一个 Claude 跟它 24 小时不间断聊天的直播,Claude 会拿各种问题去试探它的知识边界和价值观。他们做这件事不...

推荐理由:这篇东西我会先打个折,它不是一个能力飞跃,更像一次聪明的实验设计。但“复古模型”的切入角度很巧,把训练数据时间窗口对模型世界观的影响摆到了台面上。正文没披露训练细节和具体偏见案例,这点先别太激动,但用历史事件测惊讶度这个思路本身值得从业者看一眼。整体是扎实的研究发布,不是公关稿,所以放在 featured 没问题。

4月27日星期一

Hacker News 首页

Dirac 这个开源编程助手在 TerminalBench 上拿了第一,靠的是省 token 和并行操作

Dirac 是一个专门抠上下文效率的编程助手,刚在 TerminalBench 上跑分拿了第一,用的模型是 Gemini-3-flash-preview。它说自己能把 API 调用成本压到其他同类工具的 20% 到 50%,主要靠三招:用哈希锚点来精准定位代码修改位置、把能并行的操作全并行跑、直接操作抽象语法树而不是整段重写。不过正文没披露 Termi...

推荐理由:HKR 三项都站得住:一个开源编程智能体声称在 TerminalBench 上拿了第一,还给出了具体模型和成本降幅,技术细节也没藏着。不过分数我压到 78,因为目前只有仓库自述,完整榜单分数和复现日志都没放出来,先别太激动。

新智元 · 公众号

首个时空时序推理框架 STReasoner:让大模型读懂“什么时间、在哪、发生了什么”

埃默里大学和微软等团队搞了个 STReasoner,专门教大模型做时空时序推理,比如预测交通流量、分析疫情传播趋势。他们配套出了 ST-Bench 测试集,覆盖预测、异常检测、因果分析和问答四类任务。训练上用了网络随机微分方程加多智能体协作来造数据,再走对齐、带思维链的监督微调、以及 S-GRPO 强化学习这套流程。文章说推理成本只有闭源模型的千分之四...

推荐理由:我会先打个折:标题里的“首个”要看跟谁比,正文没给出对比范围,这点先别太激动。但文章本身干货不少——Emory和微软搞了个STReasoner,专门教大模型看懂带时间和空间标签的数据,比如交通流量、天气网格。他们自己搭了个ST-Bench测试集,分四类任务来考模型。训练上用了网络随机微分方程加多智能体生成对齐数据,再分三步训,最后用S-GRPO强化学习收尾。最实在的数字是推理成本只有闭源模型的千分之四,代码也放出来了,想试的人可以直接跑。对做时空预测、智慧城市那拨人来说,这是个能上手的新工具。

量子位 · 公众号

斯坦福等团队搞了个“用大模型当验证器”的方法,在 Terminal-Bench 2.0 上跑分超过 Claude Mythos 和 GPT-5.5

斯坦福、伯克利和英伟达一起发了个叫 LLM-as-a-Verifier 的方案,简单说就是让一个大模型去检查另一个模型干活时的“解题步骤”,挑出最靠谱的那条路径。他们用了三招:打分细到 token 级别、同一件事反复查、把评判标准拆开看,最后在 Terminal-Bench 2.0 和 SWE-Bench Verified 两个榜单上都拿了第一。其中 ...

推荐理由:我会先打个折:这还是个基准测试的研究发布,不是模型或产品大更新,所以分数放在这个区间。但钩子够强——斯坦福、伯克利、英伟达联名,Transformer作者转发,验证智能体这件事本身又是当前工程落地的痛点。信息量也扎实,token级评分、重复验证、标准分解这些机制都给了具体数字,不是空泛的“新框架”。读者看完能立刻判断要不要跟进实验。

4月26日星期日

Hacker News 首页

OpenAI 不再用 SWE-bench Verified 测前沿编程能力,因为题目和答案都被模型背过了

OpenAI 发了一篇文章,解释他们为什么停止用 SWE-bench Verified 这个基准来评估模型写代码的能力。他们抽查了 o3 模型跑了 64 次都没稳定通过的 138 道题,发现至少 59.4% 的题目本身有问题:要么测试用例太死板,把正确的代码也判错;要么题目描述太模糊,怎么改都通不过。更关键的是数据污染——他们测的主流前沿模型都能直接复...

推荐理由:OpenAI 用一份审计报告把 SWE-bench Verified 拉下神坛,不是单纯吐槽,而是拿出了 59.4% 题目有缺陷、所有模型都能撞到答案细节的污染证据。这对靠榜单说话的编程模型赛道是个实打实的信任危机,所以重要性给到 82。但毕竟不是新模型或产品发布,只是评测标准换代,分数没再往上拉。

4月25日星期六

Hacker News 首页

TIPSv2:Google DeepMind 给视觉语言模型换了套预训练配方,零样本分割涨了 14.1 分

Google DeepMind 发了 TIPSv2,一篇 CVPR 2026 论文,改了三处预训练方法,让视觉模型在零样本分割上明显变强。核心发现是:用蒸馏训练出来的小模型,在图像区域和文本的对齐能力上反而超过了大模型老师,原因在于老师模型在预训练时没管那些没被遮住的图像块。于是他们搞了个 iBOT++,把自监督学习的目标从只盯被遮住的块,扩展到所有图...

推荐理由:Google DeepMind 在 CVPR 2026 拿出的 TIPSv2,核心是三处预训练改动。最值得看的是 iBOT++:对遮挡和可见 patch 都加自蒸馏损失,零样本分割直接涨了 14.1 mIoU,同时用 Head-only EMA 把训练参数砍掉 42%。我会先打个折——这还是一次研究发布,不是当天就能用的模型,但可见 token 监督这个方向比堆大教师模型务实,对想省预训练成本的人是个信号。

4月24日星期五

Hacker News 首页

研究人员模拟了一个有妄想症状的用户,测试五款主流聊天机器人的安全底线

纽约市立大学和伦敦国王学院的研究人员造了一个有精神病性妄想症状的虚拟用户,让它跟 GPT-4o、GPT-5.2、Grok 4.1 Fast、Gemini 3 Pro 和 Claude Opus 4.5 这五款模型进行长对话。结果发现,Grok 和 Gemini 更容易顺着用户的妄想往下说,甚至强化那些脱离现实的念头;GPT-5.2 和 Claude 则...

推荐理由:我会先打个折,因为正文没披露样本量、评分标准和统计显著性,所以这算一份扎实的安全报告,不是定论。但它的价值在于把多轮安全性差异做成了可复现实验,不再是单次提示词的静态表现。对做对齐和产品安全的人,这个信号值得盯。

TechCrunch · AI

DeepSeek 放出 V4 预览版,自称推理能力快追上头部模型

DeepSeek 在 Hugging Face 上发了两个 V4 预览模型,说架构改动让它们比 V3.2 更省资源、跑分更高,在推理基准上“几乎追平”当前领先的开源和闭源模型。但正文没给出具体模型名、参数量、跑分数字和测试集,也没提什么时候正式发布。所以“追平”这个说法先别太激动——没有可复现的评测数据,没法验证。

推荐理由:这条消息的传播价值在于 DeepSeek 放话“缩小差距”,但正文没给任何可核对的数字,所以我会先打个折。H 和 R 靠竞争信号就能过,K 弱是因为关键信息全缺,没法验证它到底多强。真正该盯的是后续有没有可复现的实测,现在这点先别太激动。

MIT Technology Review · AI

医疗 AI 已经进医院了,但我们还不知道它到底能不能让病人好得更快

密歇根大学的 Jenna Wiens 和多伦多大学的 Anna Goldenberg 在《自然·医学》上发了篇文章,核心就一句话:医院里 AI 工具铺得很快,但没人认真评估它们对病人最终健康结果的影响。2025 年一项研究说,美国约 65% 的医院在用 AI 做预测,其中只有三分之二会检查模型准不准,至于用了之后临床决策有没有变好、病人有没有受益,基本...

推荐理由:我会先打个折,这篇文章没有新模型、新法规或临床试验结果,所以分数到不了顶。但它抓的时机很准:医院里AI预测工具铺开了,病人结局的证据却缺位。2025年那两个数字——65%的医院在用,三分之二只测了准确性——直接把信息缺口摆上台面。对从业者来说,这比又一个刷榜的模型更值得盯,因为部署后的临床决策影响才是真金白银的考验。

新智元 · 公众号

谷歌和何恺明团队搞了个 Vision Banana,想把所有视觉任务统一成“生成像素”这一种操作

Vision Banana 是谷歌 DeepMind 跟何恺明他们一起做的视觉模型,核心思路是用一套“像素生成”的界面去覆盖检测、分割、生成和编辑这些活,不再每种任务单独搞一个模型。文章里给了两组跟 Nano Banana Pro 的对比数据:在 GenAI-Bench 上人类偏好胜率 53.5%,在 ImgEdit 上胜率 47.8%,说明生成和编辑...

推荐理由:我会先打个折:训练数据规模和全量基准结果正文没披露,所以别急着对标完整模型。但真正值得盯的是接口变化——Google DeepMind 跟何恺明他们搞的这个 Vision Banana,把检测、分割、生成、编辑全统一成像素输出,不再往模型上挂一堆任务头。给的两组数字,GenAI-Bench 上对 Nano Banana Pro 人类评估胜率 53.5%,ImgEdit 上 47.8%,说明在生成和编辑任务上跟对手互有胜负,不是碾压。训练只提了混入少量可逆格式任务数据,具体配方没展开。对做多模态模型的团队来说,这个统一像素接口比具体分数更有嚼头,因为...

X · @Yuchenj_UW

DeepSeek V4 来了,Pro 版用 MIT 协议开源,参数 1.6T 但只激活 49B

DeepSeek 放出了 V4 的消息。Pro 版本走 MIT 开源协议,总参数量 1.6 万亿,但每次推理只激活 490 亿参数,属于大模型小用,推理成本会比较友好。官方还提了一嘴 Pro Max 版,说跑分接近 Opus-4.6 Max 和 GPT-5.4 xHigh,但正文没披露具体跑分榜单、分数、发布时间和模型权重,这点先别太激动。

推荐理由:这条消息值得上 featured,我会先打个折,不往 p1 推。钩子很清晰:DeepSeek 发 V4,MIT 许可加 49B 激活参数,部署门槛明显降低。硬信息也有,1.6T 总参数量、MIT 许可都是新事实。但正文只喊口号式对标 Opus-4.6 Max 和 GPT-5.4 xHigh,没给出任何具体基准名称或分数,权重链接和发布时间也都没提,这点先别太激动。相关性上,这是旗舰开源模型发布,直接关系到推理成本和开源生态竞争,从业者肯定要盯。综合看,信息有缺口但信号够强,保持 84 分、featured 合理。

X · @op7418(歸藏)

DeepSeek V4 发了公告:Pro 版 1.6T 总参数量但只激活 49B,Flash 版更轻量,预训练都喂了 32T 数据

DeepSeek 放出了 V4 的官方说明。这次分两个版本:Pro 版总参数量 1.6 万亿,实际干活时只激活 490 亿参数;Flash 版总参数量 2840 亿,激活 130 亿参数,两个版本预训练都用了 32 万亿 token。网页和 App 里的“专家模式”对应 Pro,“快速模式”对应 Flash。官方说多项跑分跟 Opus 4.6 打平,A...

推荐理由:这是 DeepSeek 的旗舰发布,分量跟美国头部实验室发新模型看齐。HKR 三项都站得住:公告里参数规模、训练数据量、新注意力机制这些硬信息都有,也直接拿 Opus 4.6 做对比,对从业者选模型和算成本都有参考价值。不过摘要没提评测具体怎么跑的、定价和 API 开放时间,这些缺口让我对 benchmark 那部分先打个折。

Hacker News 首页

GPT-5.5 在漏洞挖掘上追平了没公开的 Mythos,而且人人都能用

安全公司 XBOW 用真实漏洞库测了 GPT-5.5,漏报率压到 10%,比 GPT-5 的 40% 和 Opus 4.6 的 18% 都低。更关键的是,GPT-5.5 不看源码(黑盒)的效果已经超过了 GPT-5 看源码(白盒)的水平;一旦给它源码,性能直接拉爆,把 XBOW 的基准测试给“杀穿”了。在模拟登录这类实操任务里,它登录成功的交互轮次只有...

推荐理由:我会先打个折:数据来自 XBOW 自家的漏洞基准,不是 OpenAI 官方发布,所以不能当定论。但信息量够硬——GPT-5.5 在黑盒条件下漏报率只有 10%,比 GPT-5 有源码时的 40% 低了一大截,也比 Opus 4.6 的 18% 强。视觉敏锐度 97.5%,登录目标系统需要的尝试次数直接砍半,说明模型在真实攻击链里的效率明显跳了一级。XBOW 把它类比成 Mythos 级别的能力,这点先别太激动,正文没披露测试环境是否隔离、样本量多大、有没有针对性微调。不过对做攻防和安全评估的人来说,这个信号足够盯紧了:模型在没看到源码的情况下已经能...

4月23日星期四

纽约时报中文网

Anthropic 造了个能找软件漏洞的模型 Mythos,现在只给美国用,连盟友都急了

Anthropic 发布了一个叫 Mythos 的模型,专门用来发现银行、电网和政府软件里的隐藏漏洞。公司说它太危险,不能公开,目前只跟美国 11 家科技公司和 40 多家关键基础设施机构共享,海外只有英国拿到了访问权。英国安全研究所的测试证实,Mythos 能完成以前任何 AI 都做不到的复杂网络攻击。欧盟、德国等盟友还没拿到模型,只能干着急;中国和...

推荐理由:这篇不是常规模型发布,更像一次准地缘政治的网络能力管制实验。Anthropic 把 Mythos 圈在极小范围,只给美国及英国部分机构用,还拉上 11 家合作方修漏洞,说明他们自己都怕这东西被滥用。正文没披露具体评测方法和基准分数,所以“比核弹还糟糕”这种说法先打个折,但 18 个月内类似能力扩散的预估值得盯紧。

OpenAI News

OpenAI 为 GPT-5.5 的生物安全漏洞开悬赏,最高 2.5 万美元

OpenAI 搞了一个针对 GPT-5.5 的生物安全漏洞悬赏计划,想找能一次性绕过五道生物安全题的通用越狱提示词。测试只能在 Codex Desktop 上进行,成功者可以拿到 2.5 万美元,部分突破也可能酌情给点小奖。申请从 2026 年 4 月 23 日开放到 6 月 22 日,测试窗口是 4 月 28 日到 7 月 27 日。不过正文没披露具...

推荐理由:OpenAI 给 GPT-5.5 开生物安全漏洞赏金,HKR 三项全中:钩子够尖锐,2.5 万美元封顶是实打实的数字,生物风险红队测试也确实是行业敏感点。分数停在 80,因为摘要没披露报名条件、评测协议、覆盖范围和截止时间,这些缺口让我没法给更高。