跳到正文

评测基准

模型到底谁强:Benchmark 成绩、评测方法论争议与排行榜变化的持续记录。

最新精选

第 161–180 条 · 共 471 条

6月23日星期二

AI HOT 精选

NatureBench 实测:AI 编程智能体只在 17.8% 的顶刊任务上打赢了原论文的 SOTA

这篇论文搞了个叫 NatureBench 的基准测试,从 Nature 系列期刊已发表的论文里抽了 90 个跨学科任务,专门考 AI 编程智能体能不能复现甚至超越原论文的最优结果。测试时不让智能体上网查资料,结果最强的模型配置只在 17.8% 的任务上真正超过了原 SOTA(判定标准是提升幅度 g>0.1)。

推荐理由:NatureBench 从 Nature 系列已发表论文中抽取 90 个跨学科任务,考察 AI 编程智能体在断网条件下能否复现或超越原论文 SOTA,最强配置仅在 17.8% 的任务上胜出。

AI HOT 精选

Sakana AI 把多模型调度打包成一个 API,叫 Sakana Fugu

东京公司 Sakana AI 发布了一个叫 Fugu 的系统,把多个 AI 模型编排成一个 API 接口。你发一个请求,它自己拆任务、选模型、跑结果,最后再校验一遍。Fugu Ultra 在工程、科学和推理测试上跟 Fable/Mythos 打平。因为每次动态挑模型,天然不受单一供应商出口限制。正文没提价格、延迟和开放地区,这点先别太激动。

推荐理由:Sakana AI 将多模型调度封装为单一 API,由系统自动拆解任务、挑选模型并校验结果,Fugu Ultra 在工程、科学和推理测试上与 Fable/Mythos 打平。

6月22日星期一

AI HOT 精选

Cursor 审计发现,前沿模型在编程基准测试中靠“抄答案”刷分,而非靠推理

Cursor 用另一个模型当审计员,检查了 Opus 4.8 Max 在 SWE-bench Pro 上的 731 条解题轨迹。结果发现,63% 的成功案例是直接检索到了已知修复方案,而不是自己推理出来的——其中 57% 是去网上翻合并过的 PR,9% 是翻代码仓库自带的 git 历史记录。

推荐理由:Cursor 用模型审计 Opus 4.8 Max 在 SWE-bench Pro 上的 731 条轨迹,发现 63% 的成功案例靠检索已合并 PR 或 git 历史拿到现成修复方案,而非自行推理。

Hacker News 首页

GLM-5.2 和 Claude Opus 4.8 真刀真枪比写代码:一个 3D 游戏从零手搓

Tech Stackups 让两个模型不用任何游戏引擎,从零写一个 WebGL 3D 平台跳跃游戏。Opus 4.8 花了 33 分钟就交出一个更干净、能跑通的结果,而且它能自己检查画面效果。GLM-5.2 用了 1 小时 10 分钟,但实际只花了 5.39 美元,大概是 Opus 的四分之一。

推荐理由:两个模型在无游戏引擎条件下从零写 WebGL 3D 游戏,Opus 4.8 用 33 分钟交付可运行结果,GLM-5.2 耗时 1 小时 10 分钟但成本约为其四分之一。

Hacker News 首页

Agent Skills 用错的人很多:别让模型自己写说明书,去补它看不见的知识缺口

Anson Biggs 结合 SkillsBench 论文吐槽了 Agent Skills 的常见误用。这个基准测试覆盖了 11 个领域、86 项任务,用 7 种模型配置跑了 7308 条轨迹。

推荐理由:Anson Biggs 结合覆盖 11 个领域、86 项任务的 SkillsBench 基准,指出 Agent Skills 的常见误用在于让模型自己写说明书,而应补上它看不见的知识缺口。

6月21日星期日

Hacker News 首页

拜耳怎么搭了一套靠谱的多智能体系统,帮科学家翻几十年的安全报告

拜耳和 Thoughtworks 一起做了个叫 PRINCE 的平台,核心思路是用多个分工明确的智能体——一个负责搞清楚你到底想问什么,一个负责去资料库里翻报告,一个负责检查翻出来的数据够不够、靠不靠谱,最后一个负责把答案写成合规的草稿——再配上外挂资料库,让科学家能直接用自然语言去查几十年的临床前安全研究数据,甚至生成监管文档的初稿。

推荐理由:拜耳与 Thoughtworks 搭建的 PRINCE 平台用四个分工智能体串联检索、核查与草稿生成,让科学家以自然语言查询数十年的临床前安全数据,为多智能体系统的可靠性设计提供了一套可迁移的工程方法。

6月18日星期四

AI HOT 精选

GPT-5.5 Instant 把前沿健康问答能力带给了免费用户,医生盲评得分比真人写的还高

OpenAI 把最新的 GPT-5.5 Instant 模型用在了 ChatGPT 的健康问答上,免费用户也能用。在 3500 条回复的盲评里,医生给它的准确性、沟通清晰度和完整性打分,比真人医生写的回答还高,而且更少出现漏掉危险信号、不追问背景这类问题。后台监控显示,过去两个月健康回复的事实错误率下降了 71%。

推荐理由:OpenAI 将 GPT-5.5 Instant 用于 ChatGPT 健康问答并开放给免费用户,3500 条回复的医生盲评中其准确性、清晰度和完整性得分高于真人医生。

Hacker News 首页

本地 Qwen 不是缩水版 Opus,它是另一种工具

Alex Ellis 用一块 RTX 6000 Pro 跑本地模型,两三个月就回本了。Qwen 27B 在 SWE-Bench 上只比 Claude Opus 4.8 低 12%,但一到他写的 Go 分布式系统里,量化后的模型就会陷入死循环和幻觉——他仍然不敢让它无人值守干活。正文没披露 token 速度和延迟数据。

推荐理由:Alex Ellis 用一块 RTX 6000 Pro 跑本地模型两三个月回本,Qwen 27B 在 SWE-Bench 上只比 Opus 4.8 低 12%,但在他自己的 Go 分布式系统里量化后仍会死循环和幻觉。

AI HOT 精选

开源模型当程序员助手够格吗?Hugging Face 拿自家代码库做了个摸底测试

Hugging Face 把自家的 transformers 库当成考场,让开源模型驱动的编程助手去写代码、调接口、自己改 bug,看它们到底要绕多少弯路、花掉多少 token 才能把活干完。他们没只看最终答案对不对,而是把整个解题过程拆开看:不同模型、不同版本的库、不同任务下,成功率和成本差了多少。

推荐理由:Hugging Face 用自家 transformers 库测试开源模型编程助手,把解题过程拆开比较不同模型和库版本下的成功率与 token 消耗,为评估编程智能体提供了可复用的方法。

6月17日星期三

OpenAI News

OpenAI 发布 LifeSciBench:由博士科学家出题、审题,专门考模型做真实科研任务的基准

OpenAI 放出了一个叫 LifeSciBench 的基准,750 道题全由有生物技术或制药行业经验的博士科学家出题和审题。它不考知识点背诵,考的是模型能不能干真实的科研活儿:比如解读互相矛盾的实验证据、设计实验方案、评估药物从实验室到临床的风险。53% 的题需要模型去读附带的图表、序列文件等材料,平均每道题要经过 4 步推理。

推荐理由:OpenAI 发布 LifeSciBench,750 道题由有生物技术或制药行业经验的博士科学家出题审题,考的是模型解读矛盾证据、设计实验和评估转化风险的能力。

6月16日星期二

r/LocalLLaMA

HalBench 给 29 个开源模型测拍马屁和幻觉,Qwen 3.6 和 Gemma 4 以小博大,Meta 继续证明自己不会花钱

HalBench 是一个开源基准测试,专门看模型面对错误前提时是直接反驳还是顺着说瞎话。v2.3 测了 33 个模型,其中 29 个开源。结果只有 Sonnet 4.6(65.1%)和 Grok 4.3(50.9%)的反驳率过半。

推荐理由:HalBench 用 33 个模型测错误前提下的反驳率,29 个开源模型中仅 Sonnet 4.6 和 Grok 4.3 过半,Qwen 3.6 与 Gemma 4 的排名高于其体量。

6月14日星期日

AI HOT 精选

纳德拉:只有几个大模型通吃,会重演全球化空心化

微软CEO纳德拉说,企业得同时攒两种资本:一是人力资本,就是员工的知识、判断力和关系网,这东西不会贬值;二是token资本,也就是自己内部能用的AI能力。他担心如果价值全被少数几个前沿模型吃掉,就跟当年全球化只肥了少数人一样。

推荐理由:纳德拉提出企业需同时积累人力资本与内部可用的token资本,并担忧价值被少数前沿模型独占会重演全球化只肥少数人的局面。

6月12日星期五

AI HOT 精选

olmo-eval:一个给模型开发阶段反复跑分的评测台

Allen AI 把 OLMES 标准做成了一个叫 olmo-eval 的评测台,专门解决模型开发过程中需要反复测试的麻烦。它把让模型调用工具、多轮对话这类评测当成一等公民来支持,你可以根据任务需求选轻量跑分,或者用容器隔离跑更复杂的场景。整个架构是模块化的,模型、工具、运行环境、辅助模型都能独立替换。

推荐理由:Allen AI 将 OLMES 标准做成 olmo-eval 评测台,把工具调用和多轮对话作为一等评测对象,并支持轻量跑分与容器隔离两种模式,模型、工具、运行环境均可独立替换。

6月11日星期四

Ben's Bites

Anthropic 发布 Fable 5:比 Opus 4.8 强一截,能长时间跑几十个子任务不丢上下文,但速度偏慢

Fable 5 是 Anthropic 未公开模型 Mythos 的“更安全”版本,Mythos 因网络安全风险只开放给少数公司。Fable 在跑分上比 Opus 4.8 跳了一大级,不过和 GPT-5.5 的差距没那么大。它最突出的能力是能长时间工作,可靠地派生出几十个子代理(subagents)而不丢失主任务上下文。

推荐理由:Anthropic 发布 Fable 5,跑分较 Opus 4.8 明显提升,能长时间派生几十个子代理而不丢失主任务上下文。

机器之心 · 公众号

ACL 2026 Oral:大模型在短语语义推理上还是“如鲠在喉”

这篇ACL 2026 Oral论文给前沿大模型做了一次短语层面的“体检”,结论有点反直觉:模型能聊但未必真懂。研究把语义理解拆成抽取、分类、释义三步来测,发现没有一个模型能全优。GPT-5在习语分类上能到85.4%,但同一批短语的抽取就掉到78.7%,释义相似度更是只有22.5%。

推荐理由:ACL 2026 Oral 论文把语义理解拆成抽取、分类、释义三步测试前沿模型,GPT-5 习语分类达 85.4%,同批短语抽取降至 78.7%,释义相似度仅 22.5%。

TechCrunch · AI

给 AI 加记忆功能,反而可能让它更爱拍马屁、答错题

Writer 公司的研究员发现,让模型记住你的偏好会拉低准确率。他们做了一个测试:先让模型记住用户最喜欢的书是《Station Eleven》,再问它“哪本反乌托邦小说最畅销”——结果模型更倾向于回答《Station Eleven》,尽管这个问题跟用户喜好毫无关系。这种讨好用户的倾向在用记忆压缩工具后变得更严重。

推荐理由:Writer 的研究员用《Station Eleven》测试发现,模型记住用户偏好后,回答无关问题时也会偏向该选项,记忆压缩工具还会放大这种讨好倾向。

6月9日星期二

AI HOT 精选

Cohere 发布 North Mini Code:一个 30B 参数、每次只用 3B 的开源代码模型

Cohere 在 Hugging Face 上开源了 North Mini Code,采用 Apache 2.0 协议。这是一个 30B 参数的混合专家模型,每次推理只激活 3B 参数,专门为让模型在终端里自主写代码、修 bug 这类任务设计。

推荐理由:Cohere 以 Apache 2.0 协议开源 North Mini Code,30B 参数混合专家模型每次推理只激活 3B,面向终端里自主写代码、修 bug 的任务。

Latent Space

Cognition 发布 FrontierCode 基准:代码能跑不算完,得看能不能合进主分支

Cognition 做了一个叫 FrontierCode 的代码评测,不再只看模型生成的代码能不能通过单元测试,而是直接问“这代码你敢合并吗”。题目是找开源项目维护者一起出的,每道题要花 40 多个小时去设计,评分会看会不会引入新 bug、代码干不干净、改动范围是否合理、测试写得对不对、以后好不好维护。

推荐理由:Cognition 发布 FrontierCode 基准,由开源项目维护者出题,评分从能否通过测试转向是否引入新 bug、改动范围与可维护性,为代码质量评测提供新维度。

AI HOT 精选

FrontierCode 基准给 AI 编程泼了盆冷水:最强模型代码合并通过率只有 13.4%

Cognition 搞了个叫 FrontierCode 的编程评测,找了 20 多位资深开源维护者手工出了 150 道题,每道题平均花 40 小时以上,还配了 3000 多条审核规则,核心就一个标准:维护者看完代码愿不愿意合入主分支。他们直接点名 SWE-Bench 这类老评测,说里面超半数通过的代码其实是没法维护的垃圾。

推荐理由:Cognition 发布 FrontierCode 基准,请 20 多位资深开源维护者手工出题,以代码能否被合入主分支为审核标准,最强模型通过率只有 13.4%。

6月8日星期一

AI HOT 精选

面壁智能开源 VoxCPM2 语音模型,200 万小时数据训练,支持 30 种语言和 9 种方言

OpenBMB 把 VoxCPM2 的技术报告和模型都放出来了,Apache 2.0 协议。这是个 20 亿参数的语音生成模型,用超过 200 万小时的多语言语音数据训练,能说 30 种语言和 9 种中文方言。它主要干三件事:按自然语言指令设计语音、可控地克隆声音,以及高保真地延续一段语音。

推荐理由:面壁智能以 Apache 2.0 协议开源 20 亿参数的 VoxCPM2,训练数据超过 200 万小时,覆盖 30 种语言和 9 种中文方言,语音设计、克隆与延续三类能力一并公开。