跳到正文

评测基准

模型到底谁强:Benchmark 成绩、评测方法论争议与排行榜变化的持续记录。

最新精选

第 421–440 条 · 共 471 条

4月17日星期五

Hacker News 首页

Qwen3.6-35B-A3B 在我笔记本上画的鹈鹕,比 Claude Opus 4.7 画的还好

Simon Willison 在他的 MacBook Pro M5 上跑了一个 20.9GB 的 Qwen3.6-35B-A3B 量化版模型,让它和 Anthropic 刚发的 Claude Opus 4.7 比画 SVG 鹈鹕。结果 Qwen 画的自行车骨架是对的,Opus 却把车架画错了,连试两次都没救回来。

推荐理由:Simon Willison 在 MacBook Pro M5 上运行 20.9GB 的 Qwen3.6-35B-A3B 量化版,与 Claude Opus 4.7 同题生成 SVG 鹈鹕,Qwen 画对自行车骨架而 Opus 两次都画错车架。

4月16日星期四

Hacker News 首页

AI 挖漏洞不是拼算力,模型智商才是天花板

antirez 拿 OpenBSD 的 SACK 漏洞举例,说了一个反直觉的结论:用 AI 找代码漏洞,堆 GPU 多跑几次没用。因为代码能走的执行路径是有限的,跑再多轮也会饱和,最终卡住你的是模型本身的智商,而不是采样次数。

推荐理由:antirez 用 OpenBSD 的 SACK 漏洞说明,AI 找漏洞的瓶颈在模型自身能力,采样次数再多也会因执行路径有限而饱和,这为判断算力与模型质量投入的优先级提供了具体依据。

4月15日星期三

X · @dotey(宝玉)

Anthropic 让 9 个 Claude 自己做对齐研究,5 天花 1.8 万美元,效果比人类研究员强四倍

Anthropic 搞了个实验,让 9 个 Claude Opus 4.6 自己跑对齐研究。人类研究员花 7 天把“性能差距恢复率”(PGR,衡量强模型从弱老师那里学到多少东西的指标)做到 0.23,Claude 们又花了 5 天、累计 800 小时,把 PGR 推到了 0.97,几乎填满整个差距。

推荐理由:Anthropic 让 9 个 Claude Opus 4.6 自主跑了 5 天对齐研究,把性能差距恢复率从人类研究员的 0.23 推到 0.97,这条给出了自动化研究在具体指标上的对比结果。

X · @AnthropicAI

Anthropic 用 Claude Opus 4.6 当自动化对齐研究员,测试弱模型能不能管住强模型

Anthropic 的研究员搞了个实验,让 Claude Opus 4.6 去加速解决一个核心对齐难题:怎么用弱 AI 模型来监督训练更强的模型。这相当于让一个水平一般的老师去教一个更聪明的学生,看能不能教好。正文没披露实验的具体设置、对比基准、评估指标和结果,所以效果到底怎么样还不清楚。

推荐理由:Anthropic 研究员让 Claude Opus 4.6 加速解决弱模型监督强模型的对齐难题,实验设置与结果尚未披露,这一研究方向本身值得了解。

4月12日星期日

X · @dotey(宝玉)

伯克利团队造了个作弊 AI,不调用任何大模型就攻破了 8 个主流智能体评测基准,得分 73% 到 100%

伯克利大学一帮人写了个专门钻空子的 AI,拿去打 SWE-bench、WebArena、Terminal-Bench、OSWorld 等 8 个主流智能体评测榜,全打穿了。这个作弊 AI 一次大模型都没调用,一个任务也没真做,靠的全是找评测程序本身的漏洞。

推荐理由:伯克利团队用一个不调用大模型、不实际完成任务的作弊程序,攻破了 SWE-bench、WebArena 等 8 个主流智能体评测基准,得分 73% 到 100%,直接暴露评测程序自身的漏洞。

4月11日星期六

量子位 · 公众号

中国具身模型在 MolmoSpace 基准上拿了第一,同时开源了 10 万小时人类操作数据集

Psibot 说他们的 Psi-R2 模型在 AllenAI 的 MolmoSpace 基准上排到了第一,但正文没披露具体任务设置和完整对比基线,所以这个“第一”的含金量得先打个折。他们同时放出了一个 100,889 小时的操作数据集,其中 95,472 小时是人类数据,5,417 小时是机器人数据,目前只开源了 1,000 小时。

推荐理由:Psi-R2 在 AllenAI 的 MolmoSpace 基准上排到第一,同时放出 100,889 小时操作数据集,其中人类数据占 95,472 小时,目前开源 1,000 小时。

4月10日星期五

最佳拍档

Sakana AI 开源 Shinka Evolve:让大模型自己写程序进化,用更少样本跑赢 AlphaEvolve

Sakana AI 开源了一个叫 Shinka Evolve 的框架,核心思路是让大语言模型像进化算法一样自己改代码、写新程序,不断迭代出更强的解法。它主要想解决谷歌 DeepMind 之前 AlphaEvolve 的一个痛点:太费资源,动不动就要评估上千个程序。

推荐理由:Sakana AI 开源的 Shinka Evolve 让大模型自行改写代码迭代解法,针对 AlphaEvolve 动辄评估上千个程序的资源开销,把重点放在样本效率的提升上。

量子位 · 公众号

腾讯开源3B模型HiVG,用“分段打包”把SVG序列缩短六成,生成质量对标GPT和Claude

腾讯混元放出了一个30亿参数的开源模型HiVG,专门把图片转成SVG矢量图。它的核心思路是把绘图指令和坐标打包成“段token”,再用一个叫HMN的模块给坐标编码做初始化,让模型更懂几何关系。这样生成的SVG代码序列比传统方法短了62.7%到63.8%,省token就是省钱。

推荐理由:腾讯混元开源30亿参数模型HiVG,把绘图指令和坐标打包成段token并初始化坐标编码,生成的SVG序列比传统方法短约六成。

4月8日星期三

X · @dotey(宝玉)

Anthropic 发了 Claude Mythos Preview,跑分断崖式领先,但不公开用,只借给 12 家大厂找漏洞

Anthropic 的新模型 Claude Mythos Preview 在 SWE-bench Verified 上拿到 93.9%,USAMO 数学证明冲到 97.6%,比自家上一代旗舰 Opus 4.6 提升巨大,对比 GPT-5.4 和 Gemini 3.1 Pro 也是全面领先。

推荐理由:Anthropic 把跑分领先的 Claude Mythos Preview 交给苹果、微软等 12 家大厂专用于漏洞挖掘,普通用户和 API 暂不可用,模型能力与分发范围的落差是这条的核心背景。

X · @Yuchenj_UW

GLM-5.1 在 SWE-Bench Pro 上跑分压过 GPT-5.4 和 Gemini 3.1 Pro,开源模型差距缩到半年

GLM-5.1 在 SWE-Bench Pro 编程基准上拿了 58.4 分,比 Opus 4.6 的 57.3、GPT-5.4 的 57.7 和 Gemini 3.1 Pro 的 54.2 都高。模型是 MIT 协议开源的,权重公开。发帖人说开源和闭源的差距现在大概只剩六个月。

推荐理由:GLM-5.1 以开源权重在 SWE-Bench Pro 上拿到 58.4 分,高于 Opus 4.6、GPT-5.4 和 Gemini 3.1 Pro,发帖人据此判断开源与闭源差距约剩半年。

4月7日星期二

X · @dotey(宝玉)

Milla Jovovich 和开发者发布开源记忆系统 MemPalace,声称 LongMemEval 满分,但被指只测了检索、没测端到端问答

MemPalace 想解决 AI 对话一结束就失忆的问题:不靠 AI 自己挑重点,而是把全部对话按“宫殿—翼—房间—走廊”的结构存下来,全部本地运行,不依赖云服务。它配套了一个叫 AAAK 的压缩语法,号称能把上下文压到 30 倍,但实测压缩后检索准确率从 96.6% 掉到 84.2%,差了 12 个百分点,无损压缩不会这样。

推荐理由:好莱坞演员 Milla Jovovich 与开发者联合发布开源记忆系统 MemPalace,全部对话本地存储;其宣称的 LongMemEval 成绩被指只测检索,配套压缩语法实测使检索准确率从 96.6% 降至 84.2%。

MIT Technology Review · AI

经济学家说,判断 AI 会不会抢你饭碗,缺的不是任务清单,而是“降价后需求涨多少”的数据

芝加哥大学经济学家 Alex Imas 认为,现在大家用任务暴露度(比如 OpenAI 说房产中介有 28% 的工作能被 AI 干)来预测失业,基本没用。真正关键的数据是行业层面的价格弹性——也就是 AI 把成本打下来之后,降价能不能把需求拉到足够大,大到反而要多雇人。

推荐理由:芝加哥大学经济学家 Alex Imas 指出,用任务暴露度预测失业基本没用,判断岗位增减要看行业价格弹性,即 AI 降本后需求能否涨到多雇人。

3月31日星期二

MIT Technology Review · AI

AI跑分这套玩法已经失灵了,我们得换个法子

作者直接点明:现在给AI打分的基准测试,和实际用起来的场景完全是两码事。那些98%准确率的漂亮分数,一旦塞进医院放射科这种需要多科室会诊、标准随时变动的真实流程里,反而会拖慢工作节奏。她研究了2022年以来英美亚多个行业的AI落地情况,提出一套叫HAIC的评估思路,核心是看AI在团队协作、长时间工作流里的表现,而不是单次答题。

推荐理由:作者梳理2022年以来英美亚多行业的AI落地情况,指出基准分数与真实工作流脱节,并提出以团队协作和长流程表现为核心的HAIC评估思路。

MIT Technology Review · AI

AI 健康工具越来越多,但没人说得清它们到底靠不靠谱

微软上线了 Copilot Health,亚马逊把 Health AI 从 One Medical 会员专属开放给所有人,加上年初 OpenAI 的 ChatGPT Health 和能调取健康档案的 Claude,面向普通人的 AI 健康问答成了大厂标配。

推荐理由:微软、亚马逊、OpenAI 和 Anthropic 相继把面向普通人的健康问答做成标配,这条梳理了各家产品开放节奏,并追问这些工具的实际可靠性。

3月13日星期五

阮一峰的网络日志

测试是新的护城河

一个 Cloudflare 工程师用 AI 花了一周时间、1100 美元 token 费,就复刻了 Next.js 十年的开发成果,API 覆盖率达到 94%。早期测试显示,这个叫 vinext 的新实现构建速度快了 4 倍,客户端打包体积小了 57%,现有 Next.js 应用不用改代码就能直接跑。

推荐理由:Cloudflare 工程师用 AI 一周、1100 美元 token 费复刻出 Next.js 实现 vinext,API 覆盖率达 94%,构建快 4 倍、打包体积小 57%,现有应用无需改代码即可运行。

2月27日星期五

MIT Technology Review · AI

AI 正在改写世界顶级围棋手的思考方式

AlphaGo 击败李世石十年后,AI 已经成为韩国职业围棋训练的标配,不用 AI 基本没法打职业。文章给了两个数:世界第一的申真谞落子与 AI 建议的重合率是 37.5%,而选手平均水平是 28.5%;另外 AlphaGo Zero 从零自学三天后,以 100 比 0 碾压了战胜李世石的那版 AlphaGo。

推荐理由:AlphaGo 击败李世石十年后,韩国职业围棋训练已离不开 AI,申真谞落子与 AI 建议的重合率达 37.5%,高于选手平均的 28.5%。

2月26日星期四

OpenAI News

OpenAI 与 PNNL 合作测试用 AI 帮联邦政府写环评报告,每小节能省 1 到 5 小时

OpenAI 跟美国能源部旗下的太平洋西北国家实验室(PNNL)合作,找了 19 位专家一起搞了个叫 DraftNEPABench 的测试集,专门看 AI 能不能帮忙起草联邦基建项目的环境评估文件。测试用的是 Codex CLI 这个命令行工具搭配 GPT-5,让模型去读几百页的技术报告、交叉核对资料,再按法规要求写出结构化的分析草稿。

推荐理由:OpenAI 与 PNNL 用 19 位专家构建的 DraftNEPABench 测试 GPT-5 起草联邦环评,每小节可省 1 到 5 小时,为观察 AI 进入监管文书流程提供了具体样本。

2月12日星期四

阮一峰的网络日志

阮一峰实测智谱 GLM-5:跟 Claude Opus 4.6、GPT-5.3-Codex 比编程,互有胜负

阮一峰拿四个编程任务对比了 GLM-5、Claude Opus 4.6 和 GPT-5.3-Codex。网页设计上 GLM-5 和 Opus 4.6 都挺好看,GPT-5.3 页眉没粘住往下拉就没了;3D 太阳系沙盒都能跑,但 GLM-5 缺了引力网格线,Opus 4.6 动画效果最好。

推荐理由:阮一峰用四个编程任务实测智谱 GLM-5、Claude Opus 4.6 与 GPT-5.3-Codex,网页设计和 3D 沙盒各有胜负,为关注国产旗舰与闭源顶配编程差距的读者提供同场对比。

2月5日星期四

MIT Technology Review · AI

AI 圈被误解最深的一张图:METR 的时间线图到底在说什么

METR 这张图横轴是模型发布时间,纵轴是“时间线”——一个他们自己发明的指标,指模型在编程任务上能做到 50% 成功率时,对应的人类用时。Claude Opus 4.5 在 2025 年 12 月测出来大约是 5 小时,但 METR 自己给的误差范围是 2 到 20 小时,所以别拿一个数字当定论。

推荐理由:METR 澄清其时间线图的纵轴指模型在编程任务上达到 50% 成功率时对应的人类用时,Claude Opus 4.5 测出约 5 小时,误差范围 2 到 20 小时。

2月1日星期日

Lex Fridman 播客

2026年AI现状:大模型、编程、规模定律、中国、智能体、GPU与AGI

Lex Fridman 与 Sebastian Raschka、Nathan Lambert 聊了聊 2026 年的 AI 竞赛。他们把 2025 年 1 月 DeepSeek R1 的发布看作一个关键转折点,那次发布让很多人意识到,用少得多的算力和成本也能做出接近顶尖水平的模型。

推荐理由:Lex Fridman 与 Sebastian Raschka、Nathan Lambert 复盘 2026 年 AI 竞赛,把 2025 年 1 月 DeepSeek R1 的发布视为转折点,讨论算力与成本下降如何改变模型竞争格局。