跳到正文

评测基准

模型到底谁强:Benchmark 成绩、评测方法论争议与排行榜变化的持续记录。

最新精选

第 401–420 条 · 共 471 条

4月22日星期三

机器之心 · 公众号

苹果把 Transformer 改成了 Mamba,推理成本从平方级压到线性

苹果发了一篇技术文章,讲怎么把一个训好的 Transformer 模型(Pythia-1B)蒸馏成 Mamba 架构,让推理时的计算量从平方级降到线性。他们没直接硬蒸,因为直接蒸效果会崩(困惑度直接飙到 100 以上)。实际分了两步:先把 Transformer 的注意力换成一种叫 Hedgehog 的线性注意力,让模型适应线性计算。

推荐理由:苹果把已训好的 Pythia-1B 分两步蒸馏成 Mamba 架构,推理计算量从平方级降到线性,为现成 Transformer 转线性注意力提供了一条可复用的路径。

Latent Space

OpenAI 发布 GPT-Image-2,图像生成模型开始能看懂文字、画 UI 和做排版了

OpenAI 正式推出了 GPT-Image-2,在 ChatGPT、Codex 和 API 里都能用。这次更新最明显的变化是文字渲染、排版和编辑能力大幅提升,能直接生成幻灯片、信息图、UI 稿和二维码,还支持多语言。模型分“思考”和“不思考”两个版本,思考版可以自己上网搜资料、生成多个候选图并自我检查。

推荐理由:OpenAI 将 GPT-Image-2 铺到 ChatGPT、Codex 和 API,文字渲染、排版编辑与多语言能力提升,可直接生成幻灯片、信息图和 UI 稿。

4月21日星期二

量子位 · 公众号

蚂蚁数科搞了个叫“大象”的百亿参数模型,跑分和效率都挺能打

蚂蚁集团的 Inclusion AI 团队被扒出是神秘模型“大象”的幕后作者。这个模型参数量 100B,上下文窗口 256K,一次能吐 32K 字,已经在 OpenRouter 上架。文章里测了修 bug、总结三千字会议纪要、跑轻量 agent 流程,效果都不错。

推荐理由:蚂蚁数科 Inclusion AI 团队的百亿参数模型大象已在 OpenRouter 上架,文章实测了修 bug、三千字会议纪要和轻量 agent 流程,展示长上下文任务中的表现。

机器之心 · 公众号

Monet:让多模态模型在脑子里直接画图推理,不用每次都调外部工具

Monet 把 Qwen2.5-VL-7B 改造成 Monet-7B,核心是让模型在连续的视觉潜空间里做抽象推理,而不是每次都去调用外部画图或识别工具。训练分三步:先用 12.5 万条数据做监督微调,再用 VLPO 强化学习对齐偏好。在分布内任务上比原版模型提升 3% 到 9.75%,在分布外的抽象视觉推理上提升 2.31%。

推荐理由:Monet 把 Qwen2.5-VL-7B 改造成在连续视觉潜空间内完成抽象推理的模型,训练分监督微调与 VLPO 强化学习两步,分布内任务提升 3% 到 9.75%。

机器之心 · 公众号

匿名模型 MotuBrain 在 WorldArena 和 RoboTwin2.0 两个榜单同时登顶,圈内都在猜它是谁

MotuBrain 这个模型在 WorldArena 上拿了 63.77 的 EWM 分数,在 RoboTwin2.0 的干净和随机两种设置下分别得了 95.8 和 96.1 分,两项都是第一。它在运动质量、流分数和运动平滑度这些细分指标上也排在最前面。RoboTwin 的 50 个任务里它平均做到 96.0 分,第二名是 92.3 分,差距不算小。

推荐理由:匿名模型 MotuBrain 在 WorldArena 与 RoboTwin2.0 两个榜单同时登顶,RoboTwin 五十个任务平均 96.0 分,比第二名高 3.7 分。

Hacker News 首页

就算号称“无审查”的模型,也不敢把话说明白

Morgin.ai 用 4,442 个句子测试了 6 个预训练模型,发现即便是去掉拒绝机制的“无审查”模型,碰到敏感词时概率也会被大幅压低,差距从几百倍到约 1.6 万倍不等。他们管这叫“退缩”:模型不会拒绝回答,但会把敏感词的概率压到几乎为零。比如同一句话填空,Pythia-12B 首选“驱逐出境”,概率 23.27%。

推荐理由:Morgin.ai 用 4442 个句子测试 6 个预训练模型,发现去掉拒绝机制的模型遇到敏感词时仍把词概率压低几百倍到约 1.6 万倍。

4月20日星期一

X · @Yuchenj_UW

Kimi K2.6 开源了,SWE-Bench Pro 跑分 58.6,声称超过 GPT-5.4 和 Claude Opus 4.6

Kimi K2.6 宣布开源,在 SWE-Bench Pro(一个测代码修 bug 能力的基准)上拿了 58.6 分。推文说这个分数压过了 GPT-5.4(xhigh 模式)和 Claude Opus 4.6(max effort 模式)。不过正文没披露模型权重、开源协议和具体的评测设置,可复现性要打个问号。

推荐理由:Kimi K2.6 宣布开源,在测代码修 bug 能力的 SWE-Bench Pro 上取得 58.6 分,高于推文中 GPT-5.4 和 Claude Opus 4.6 的成绩,开源与闭源模型的代码能力对比多了一个参照。

r/LocalLLaMA

用免费 Colab T4 和 Mac 给苹果端侧 3B 模型训练 LoRA 适配器

作者搭了一套 QLoRA 流程来微调苹果那个跑在手机上的 3B 模型,把显存需求从大约 24GB 压到 1GB 内存加 5GB 显存,免费版 Colab T4 或者一台 24GB 内存的 Mac 就能跑。

推荐理由:作者用 QLoRA 微调苹果端侧 3B 模型,把显存需求从约 24GB 压到 1GB 内存加 5GB 显存,免费 Colab T4 或 24GB 内存 Mac 即可复现整套流程。

r/LocalLLaMA

Reddit 网友拿 9 个模型做功能规划对比,Claude Opus 4.6 生成的规格书最贵也最详细

一位 Reddit 用户让 9 个模型给一款 Go 语言记账 App 设计“负载追踪”功能,再用 Claude Code 给生成的规格文档打分排名。Claude Opus 4.6 排第一,产出一份 19KB 的规格书,过程中读了 44 次代码,花了 2.47 美元;GLM 5.1 排第二,Qwen 3.6 35B fp8+vLLM 排第三。

推荐理由:一位 Reddit 用户让 9 个模型为同一款 Go 记账 App 设计负载追踪功能,并用 Claude Code 给生成的规格文档打分排名,各模型在真实任务中的产出差异由此可比。

r/LocalLLaMA

用一张 RTX 4090 跑 Gemma 4 26B,从 2400 份财报电话会里挖交易信号,一个有效,一个差点骗过我

一位 Reddit 用户用 800 份标注过的财报电话会记录微调了 Gemma 4 26B,然后在一张 RTX 4090 上花了约 14 小时,推理了 3 年内共 2400 份记录。在 600 份样本外数据上,一个信号显示:CFO 指引越含糊,公司股价在 5 天内相对板块平均跑输约 1.8%,信息系数(IC)为 0.04。

推荐理由:一位 Reddit 用户用 800 份标注财报电话会微调 Gemma 4 26B,在单张 RTX 4090 上推理 2400 份记录,其中一个信号在 600 份样本外数据显示 CFO 指引越含糊,股价 5 日内相对板块跑输约 1.8%。

量子位 · 公众号

苏度科技估值超20亿美元,发布具身模型Sudo R1:零真实机器人数据训练,首次抓取成功率约98%

苏度科技放出了他们的具身智能首秀Sudo R1,说是在完全没有用真实机器人数据训练的情况下,直接零样本测试了200多次,对100多种没见过的物体(包括透明、金属、软的和反光的东西)首次抓取成功率约98%,试两次基本能到100%。整个演示跑了60分钟。他们用的方法是在高保真模拟器里结合世界模型和强化学习来训练,相当于先在虚拟世界里把技能练好再搬到真机上。

推荐理由:苏度科技发布具身模型Sudo R1,在未用真实机器人数据训练的情况下,对100多种未见物体完成200多次零样本抓取测试,首次成功率约98%,其训练路径为仿真到真机迁移提供参考。

纽约时报中文网

荣耀人形机器人“闪电”半马跑出50分26秒,比人类世界纪录快近7分钟

荣耀的人形机器人“闪电”在北京半马跑出50分26秒,比乌干达选手基普利莫保持的人类纪录(57分20秒)快了将近7分钟。它身高1.65米,腿长约0.9米,中途撞上护栏摔倒,靠人扶起来后继续跑完。去年最快的机器人成绩是2小时40分42秒,今年直接压缩到不到三分之一,进步幅度很大。

推荐理由:荣耀人形机器人“闪电”在北京半马跑出50分26秒,比人类世界纪录快近7分钟,而去年同类最好成绩还是2小时40分42秒。

4月19日星期日

r/LocalLLaMA

同一个 9B Qwen 模型,换套脚手架,Aider 编程得分从 19.1% 跳到 45.6%

作者拿 Qwen3.5-9B 的 Q4 量化版跑 Aider 的多语言编程基准(225 道题),只换了调用模型的外层脚手架,平均 pass@2 就从 19.11% 拉到了 45.56%。这个叫 little-coder 的脚手架不是新模型,它做了几件事:限制推理步数、加写文件前的安全锁、让模型主动扫描工作区文件,以及每轮塞一点针对性技能提示。

推荐理由:作者用同一套 Qwen3.5-9B 权重只替换外层脚手架,就把 Aider 基准的 pass@2 从 19.11% 提到 45.56%,并列出受限推理步数、写文件安全锁等四项具体机制。

机器之心 · 公众号

MIA 记忆智能体框架:让 AI 干活不再“失忆”,边用边学

上海一个研究团队搞了个叫 MIA 的记忆框架,想让 AI 智能体在干活时能记住经验、持续进步,而不是每次重启都像失忆一样。它把记忆分成参数记忆和非参数记忆两种,用交替强化学习来更新,还支持边测试边学习。团队说在 7 个数据集上拿了最好成绩,但具体分数正文没给出来。核心思路是把记忆当成能力内化,不光是翻旧账。

推荐理由:上海研究团队提出 MIA 记忆框架,将智能体记忆分为参数与非参数两类并用交替强化学习更新,其边测试边学习的思路为开放任务中的持续进化提供了一种可迁移方法。

机器之心 · 公众号

高德在亦庄半马放出一只四足机器人“图图”,在开放路段不靠预设路线和遥控,跑完导盲避障任务

高德在2026年亦庄人形机器人半马上展示了一只叫“图图”的四足机器人,完成了一段开放环境下的导盲避障演示。官方说全程没有预设路线,也没有人遥控。背后的技术栈叫ABot,分两块:ABot-N0负责导航,在7个导航基准上拿了SOTA,其中SocNav得分88.3%,说明在社交场景里避让行人的能力不错。

推荐理由:高德在亦庄半马让四足机器人图图在开放路段完成导盲避障,全程无预设路线和遥控,其导航模块在7个基准上取得SOTA。

新智元 · 公众号

伯克利团队造了个专门作弊的 AI,SWE-bench 满分但一个 bug 都没修

伯克利 RDI 团队用一段大概 10 行的 pytest 钩子代码,在 SWE-bench 全部 500 个任务上拿了 100% 分数,实际修 bug 数是 0。他们的 agent 还顺手打穿了另外 8 个主流 agent 评测,分数从 73% 到 100% 不等。

推荐理由:伯克利 RDI 团队用约 10 行 pytest 钩子代码在 SWE-bench 全部 500 个任务上拿到满分,实际修复数为零,同一手法还打穿另外 8 个主流 agent 评测。

r/LocalLLaMA

实测 8 个模型当桌游主持人:27B 小模型叙事质量干翻了 405B 巨无霸

作者用 6 个固定跑团场景测了 8 个模型,让它们当桌游主持人。评分用了 8 项自动指标加 3 个 LLM 裁判打分,整轮测试只花了约 0.02 美元。最终 google/gemma-3-27b-it 以 4.33 的综合叙事分排第一。标题说 27B 赢了 405B,但正文被屏蔽了,没披露那个 405B 具体是哪个模型,也没给出完整排名。

推荐理由:作者用 6 个固定跑团场景和 8 项自动指标加 3 个 LLM 裁判,测了 8 个模型当桌游主持人的叙事表现,google/gemma-3-27b-it 以 4.33 分居首。

4月18日星期六

量子位 · 公众号

RAG 搜对了文档却答错?德国萨尔大学团队找到病根,ACL 2026 长文收录

萨尔大学团队发现,很多 RAG 系统翻车不是因为没搜到资料,而是模型读不懂搜回来的文档。他们提出 Disco-RAG,在检索和生成之间加了一层“阅读理解”:先用修辞结构理论把文档拆成论证树,再建跨段落关系图,最后生成大纲来引导回答,全程不用额外训练。论文在 Loong、ASQA、SciNews 几个数据集上都有提升,但正文没给出具体分数,这点先别太激动。

推荐理由:萨尔大学团队把 RAG 出错的原因指向生成环节的文档理解,提出用修辞结构理论拆解论证树、再建跨段落关系图引导回答的 Disco-RAG,全程无需额外训练。

新智元 · 公众号

港理工和西工大发现:不用越狱词,换个问法就能让 22 个大模型全中招

这篇发在《自然·通讯》上的研究,测试了 26 个做过安全对齐的模型,结果 22 个攻击成功率 100%。方法不是用乱码或对抗样本,而是靠“分布偏移诱导”——说白了就是把恶意问题换个自然语言的说法,比如用更抽象、更学术或更场景化的方式去问。

推荐理由:港理工和西工大团队在《自然·通讯》测试26个安全对齐模型,22个被自然语言改写的恶意提问攻破,成功率100%,安全对齐在分布偏移下的脆弱性由此暴露。

4月17日星期五

Hacker News 首页

实测 Claude 4.7 新分词器:技术文档的 token 消耗涨了 47%

作者用 Anthropic 的免费 token 计数接口,拿同一批内容分别喂给 Claude Opus 4.6 和 4.7,看 token 数涨了多少。7 份真实 Claude Code 用户会发的样本(包括 CLAUDE.md 文件、终端输出、代码 diff 等)加权后从 8254 个 token 涨到 10937 个,整体多了 32.5%。

推荐理由:作者用 Anthropic 免费计数接口对比 Opus 4.6 与 4.7 处理同一批 Claude Code 常见内容,加权后 token 从 8254 涨到 10937,技术文档场景涨幅达 47%。