跳到正文

评测基准

模型到底谁强:Benchmark 成绩、评测方法论争议与排行榜变化的持续记录。

最新精选

第 241–260 条 · 共 453 条

5月22日星期五

AI HOT 精选

大模型在生产环境会“说胡话”,但大部分跑分测试根本不查这个

Dharma-AI 在 Hugging Face 发了篇博文,说现在的大语言模型上线后经常出现文本退化——输出内容来回重复、前言不搭后语或者逻辑崩掉。这种故障直接影响用户体感和模型能不能用,但主流基准测试基本没把这类问题纳入评分。文章呼吁业界在评估体系里加上对文本退化的系统追踪和量化指标,正文没披露具体的指标设计或实验数据。

推荐理由:HKR 三项都过了,但这篇帖子只披露了故障模式和基准盲区,没给样本量、具体指标或复现方法,信息密度偏低,放在 featured 里靠下的位置比较合适。

AI HOT 精选

首个在华为昇腾910B上全栈训练的1.58比特开源模型BitCPM-CANN发布

ModelBest、清华和OpenBMB搞了个BitCPM-CANN,从0.5B到8B都有,全程用华为昇腾910B NPU训练,没走英伟达路线。1.58比特三元量化意味着每个权重只取三种值,内存比BF16省了约6倍,能塞进手机、电脑和车载设备里跑。基准测试成绩保住了全精度模型的95-97%,这点挺实在。我会先打个折:正文没披露具体推理延迟和功耗数据,也...

推荐理由:HKR三项都站得住:昇腾910B全栈训练1.58比特开源模型这个角度够新,数据也扎实。没给P1是因为目前只有发布事实,缺少独立复现或实际落地效果的佐证,所以先放在featured。

彭博科技

五角大楼拉上 25 个内部用户,实测 OpenAI 和 Google 的模型,准备找 Anthropic 的替代品

五角大楼正在让 25 个部门里的“高级用户”同时测试 OpenAI 和 Google 的 AI 模型,目的是给目前用的 Anthropic Claude 找个备胎。一位高级国防官员透露了这个消息,但具体在测哪些模型、用什么标准打分、以及什么时候会正式切换,正文都没说。我会先打个折:这更像是一次早期的内部摸底,离真正换供应商还有距离。

推荐理由:Bloomberg 的信源加上五角大楼实测竞品,HKR 三项都站得住。正文没公布候选模型名单、合同金额和时间表,所以重要性我给打个折,刚好卡在 featured 门槛上。

5月21日星期四

r/LocalLLaMA

Fireworks 提出“Agent 执行税”:浏览器智能体跑任务时,22.9% 的推理算力都浪费了

Fireworks 在 WebVoyager 上跑了 720 个浏览器智能体任务,发现平均有 22.9% 的推理调用属于无效消耗,他们管这个叫“Agent 执行税”——也就是为了完成任务,模型多做的无用功。具体到各家模型:MiniMax M2.5 每成功完成一个任务的成本比 Gemini 低了 2.3 倍;GLM-5 的任务成功率做到 57.1%;Ki...

推荐理由:HKR 三项都站得住:它把一个跑分现象包装成了可复用的采购指标,有具体数字支撑,而且直接回应了从业者在选型时对隐性成本的焦虑。信源是 Fireworks 自己的博客和 Reddit 讨论,不是第三方独立评测,所以重要性停在 74 分 featured 档,没往上拉。

r/LocalLLaMA

LLM 硬件规划器:按你的用途、模型或预算挑一套跑本地模型的机器,或者给现有机子选模型

totosse17 做了一个叫 LLMRequirements 的硬件规划工具,整理了 60 多套装机方案、50 多个模型,还附了 130 多个有来源标注的每秒 token 生成速度、150 多个评测视频。它会标每套配置的待机功耗和满载功耗,价格覆盖多个地区,数据放在 GitHub 上公开更新。不过 Reddit 原帖正文被屏蔽了,具体界面长什么样、交...

推荐理由:这是一个 Reddit 社区作者做的本地 LLM 硬件规划器,不是大厂产品发布,但信息密度很高。我会先打个折:它更像一个持续更新的公开数据集和参考表,不是一键自动优化的工具。正文没披露数据更新频率的具体机制,但 130 多个 tok/s 来源和 150 多个评测视频让它比一般论坛帖子可信不少。对想自己攒机器跑模型的人来说,功耗和地区价格都列出来,省得自己到处翻,这点挺实在。

r/LocalLLaMA

腾讯发布 Hy-MT2 翻译模型,覆盖 33 种语言,最小 1.8B 版压缩后仅 440MB

腾讯放出了 Hy-MT2 系列翻译模型,有 1.8B、7B 和 30B-A3B 三个尺寸,支持 33 种语言互译。1.8B 小模型用上 AngelSlim 1.25-bit 量化后,存储占用压到 440MB,推理速度还快了 1.5 倍,适合本地跑。不过 Reddit 原帖被屏蔽了,正文没披露具体翻译质量评测和更多技术细节,这点先别太激动。

推荐理由:我会先打个折:Reddit 信源比较散,所以分数没再往上拉。但 440MB 这个数字太直观了,比单纯列三个模型尺寸更有传播力,从业者一眼就能算出部署成本。正文没披露量化后的翻译质量损失,这点先别太激动,但“小模型干翻译”这个方向本身值得关注。

新智元 · 公众号

中科大两篇顶会论文:教多模态大模型持续学新知识,同时不忘旧本事

中科大团队在顶会上发了两篇工作,专门解决多模态大模型“学新忘旧”的问题。一篇是 MMEVOKE,搞了一个包含 159 个子类、9422 个样本的评测集,用来检验模型在持续学习中会不会把之前的知识覆盖掉。另一篇是 KORE,提出用知识树扩充样本,再通过零空间约束微调来减少遗忘。正文没披露具体性能数字和训练成本,但思路很明确:让模型像人一样,学了新东西还能...

推荐理由:HKR-K 和 HKR-R 都站得住:文章给出了数据集规模和具体的微调机制。不过这只是论文阶段的知识注入方案,没有生产环境的验证或完整的复现细节,所以先打个折,放在低 featured 档。

Latent Space

OpenAI 用通用推理模型花不到 1000 美元,推翻了一个 80 年前的数学猜想

OpenAI 公布了一个内部通用推理模型(外界猜是 GPT 5.6)的成果:它找到了平面单位距离问题的新构造族,推翻了 1946 年 Erdős 提出的一个猜想。这个模型不是专门为数学训练的,就是普通的语言模型,但推理过程生成了约 125 页的总结。有外部观察者推测,这次运行只用了不到 32 小时,成本不到 1000 美元。数学家 Timothy Go...

推荐理由:HKR 三项都成立:一个内部推理模型声称驳倒了 1946 年的 Erdős 问题,输出约 125 页,这是很强的能力信号。不过成本和运行时间目前还是外部推测,正文没披露 OpenAI 自己的官方数字,所以分数没给到 95。

机器之心 · 公众号

谢赛宁团队发布第二代表征自编码器 RAEv2,训练效率大幅提升

谢赛宁团队、Adobe Research 和澳大利亚国立大学放出了 RAEv2。在 ImageNet-256 上训练 80 轮后,生成质量指标 gFID 做到了 1.06。更关键的是效率:衡量收敛速度的 EPFID@2 从上一代需要的 177 轮训练直接压缩到 35 轮,计算量维持在 189 GFLOPs 没涨。不过正文因为微信环境验证拦截,具体用了什...

推荐理由:谢赛宁团队放出了第二代表征自编码器 RAEv2,核心卖点是训练快了很多——原来要 177 个 epoch 才能拿到的 EPFID@2 分数,现在 35 个 epoch 就搞定,ImageNet-256 上 80 epoch 的 gFID 压到 1.06。对做图像生成的团队来说,这意味着用更少的算力、更短的等待时间就能验证想法,成本上会友好不少。不过正文没披露模型参数量和实际推理延迟,这点先别太激动,等他们把推理侧的账算清楚再看。

r/LocalLLaMA

HalBench 基准测试:用 3200 个带坑问题测了 4 个头部模型,看谁更会拒绝瞎编

一位开发者自己搭了个叫 HalBench 的测试,专门看模型在遇到“前提本身是错的”的问题时,是会顺着瞎编(谄媚)还是直接指出问题。他拿 3200 个这种带坑提示词跑了 4 个模型:Sonnet 4.6 平均分 0.565 排第一,最敢反驳;Gemini 3.1 Pro 0.339 垫底,更容易顺着错误前提往下编。分数越高,代表模型越能识别出问题里的假...

推荐理由:HKR 三项都成立:HalBench 有个清晰的定制评测钩子,3200 条提示加分数,话题踩在模型信任和安全评测的痛点上。来源只有 Reddit 一个帖子,基准本身也没经过外部验证,所以放在低 featured 档。

5月20日星期三

AI HOT 精选

Gemini 3.5 Flash 发布,跑分超 3.1 Pro,生成速度是其他顶尖模型的 4 倍

Google 在 I/O 后开放了 Gemini 3.5 Flash,产品端和 API 都能用。官方说它在多数基准测试上比 3.1 Pro 强,编程能力提升明显,每秒吐 token 的速度是其他前沿模型的 4 倍。不过帖子没给具体跑分数字和测试条件,这点先别太激动。

推荐理由:Google 在 I/O 后放出了 Gemini 3.5 Flash,产品和 API 都能用。最抢眼的数字是每秒吐 token 的速度是其他前沿模型的 4 倍——我会先打个折,因为正文没披露跟哪些模型比、在什么条件下测的,也没给价格和上下文窗口。这点先别太激动,但速度翻几倍对降低延迟和成本确实有用,所以这条消息值得从业者看一眼。

AI HOT 精选

谷歌发布 Gemini 3.5 Flash,智商分涨到 55,速度超 280 tokens/秒,但运行成本贵了 5.5 倍

谷歌把 Gemini Flash 系列更新到了 3.5 版,智商评分从上一代的 46 分提到 55 分,直接超过了 Grok 4.3 和 Claude Sonnet 4.6。进步主要在两方面:一是让模型进业务流程干活(代理任务)更靠谱了,二是知识真实性提升,幻觉明显减少。输出速度超过每秒 280 个 token,在速度和智商之间卡了个好位置。多模态评测...

推荐理由:谷歌发Gemini 3.5 Flash,属于头部实验室的模型迭代,而且有Artificial Analysis的第三方数据撑腰,速度、智能、成本都摆出来了。HKR三项全中,尤其是5.5倍的成本跳涨让这条消息不止于常规发布,值得从业者看一眼。

AI HOT 精选

谷歌发布 Gemini 3.5 Flash,专治复杂、跑得久的自动化流程

谷歌在 I/O 大会上掏出了 Gemini 3.5 系列的第一个模型 Flash,定位很明确:让模型进业务流程干活,处理那种步骤多、周期长的任务。在 Terminal-Bench 和 MCP Atlas 这两个考编程和代理能力的测试里,它的分数压过了自家上一代的 3.1 Pro。速度方面,比别家顶尖模型快 4 倍,如果放在谷歌自己的 Antigravi...

推荐理由:谷歌在 I/O 大会上扔了个 Gemini 3.5 Flash,专门给那种要跑很久、步骤很复杂的 agent 工作流用的。我会先打个折:跑分是谷歌自己给的,第三方还没复现,但 Terminal-Bench 上超 3.1 Pro、速度是其他前沿模型 4 倍这些数字,如果属实确实省钱省时间。Antigravity 环境里飙到 12 倍,这点先别太激动,正文没披露那是啥场景、跟谁比。整体看,这是个同日发布的重要模型更新,对做 agent 落地的人有直接参考价值,但还没到改写行业规则的程度。

AI HOT 精选

谷歌发布 Gemini 3.5 Flash,输出速度跑到每秒 289 个 token,是 GPT-5.5 的四倍

谷歌在 I/O 大会上推出了 Gemini 3.5 Flash,官方说它在很多基准测试里比自家 3.1 Pro 强。最直观的卖点是快:输出速度达到每秒 289 个 token,对比的是 Claude Opus 4.7 和 GPT-5.5 xhigh,快了大约四倍。谷歌内部还用 Antigravity 工具做了个实验,让 93 个子智能体协作,12 小时...

推荐理由:谷歌在 I/O 上扔了个速度炸弹:Gemini 3.5 Flash 每秒吐 289 个 token,号称是 GPT-5.5 xhigh 和 Claude Opus 4.7 的四倍。这个数字对做应用的人很直观——响应更快、排队更短、按 token 算钱可能也更省。不过正文没提价格、上下文窗口多大、以及能力上限在哪,所以先别把它当成全面碾压,目前就是个单项速度领先。

r/LocalLLaMA

KV 缓存量化实测:TurboQuant 被高估,q5 值得多看两眼,对称 q8 可能白占显存

Anbeeld 用一张 RTX 3090 跑 Qwen 3.6 27B,在 64k 和 128k 上下文长度下测了 KV 缓存量化。先说结论:q4_0 在尾部 token 上的 KLD 比 q5_0 差了 32%,精度掉得明显;turbo4 比普通 q4_0 还慢 17%,显存却没省下多少,有点名不副实。q5_0 在精度和压缩率之间平衡得不错,但正文没...

推荐理由:我会先打个折:这篇测试只跑了一张 RTX 3090 和一个模型,结论不能直接套到其他卡或模型上。但它的好处是给了具体数字,比如 q4_0 在长上下文时尾部偏差比 q5_0 高 32%,turbo4 反而比 q4_0 慢 17%,对称 q8 可能白占显存。这些发现对玩本地推理的人有参考价值,不是泛泛而谈的评测。正文没披露更多硬件或复现细节,所以先别太激动,但作为社区一手数据,值得推给关注推理优化的人看一眼。

5月19日星期二

r/LocalLLaMA

Sapient 发布 HRM-Text 1B:40B token 预训练,成本约 1000 美元,数学和阅读理解分数超过 Llama3.2 3B

Sapient Intelligence 开源了一个 10 亿参数的小模型 HRM-Text 1B,用 16 张 GPU 跑了 1.9 天,喂了 400 亿个 token,总花费大概 1000 美元。他们自己测的榜单显示,这个 1B 模型在 MATH 数学题上拿了 56.2 分,在 DROP 阅读理解上拿了 82.2 分,两项都压过了 Meta 的 L...

推荐理由:我会先打个折:独立评测还没做完,MATH 56.2 和 DROP 82.2 都是自报分数,别急着全信。但 1000 美元预训练一个 1B 模型这件事本身就有信息量——它说明小团队也能用很少的算力做出能打的模型,对预算有限的开发者是个实在信号。正文没披露数据配比和消融实验,所以没法判断这 40B tokens 的质量到底多高。分数先按 78 给,等第三方跑完基准再考虑往上调。

AI 群聊日报

AI21裁员六成停卖模型,GPT-5.4被假共识带偏后准确率从100%暴跌到23%

AI21 Labs裁员60%并停止独立销售模型,文章判断纯卖模型访问权限这条路已经走不通了——token价格两年跌了100倍,过去16个月里有六家独立模型公司以几乎相同的方式被大厂吸收。Meta内部文件也曝出要裁10%约8000人,同时强征7000人转AI岗。滑铁卢大学一篇论文测出GPT-5.4在注入虚假同伴共识后,准确率从100%掉到23%,模型内部...

推荐理由:我会先打个折:来源是群聊日报,不是官方公告或论文,所以细节可能不全。但两条信息都直接给数字——AI21 砍掉六成人、不再卖模型,说明这家实验室在收缩;GPT-5.4 被注入虚假同伴共识后准确率从全对掉到只剩两成多,暴露了模型在群体压力下的脆弱。这两件事放在一起,既有行业动态又有安全风险,对从业者来说值得扫一眼。

量子位 · 公众号

京东和中科院信工所连发三篇论文,提出让大模型“自己教自己”的强化学习路线

这篇推文本身因为环境异常没加载出正文,我只能根据标题和外部信息给你还原一下。京东和中科院信工所联合发了三篇论文,核心思路叫 Self-Taught RLVR,也就是让模型在强化学习里自己生成训练信号、自己教自己,省掉人工标注或外部奖励模型。其中一篇叫 RLSD 的工作,在 Qwen3-VL-8B-Instruct 上只训了 200 步,就在 8 个基准...

推荐理由:我会先打个折:这不是哪个大厂发了新模型,而是京东和中科院信工所连着放了三篇论文,把 Self-Taught RLVR 这条路线从不同角度拆了一遍。亮点在 RLSD,它让模型自己生成推理步骤、自己打分、自己迭代,200 步就超过 GRPO 跑 400 步,等于训练量砍半还能赢,对算力吃紧的团队是个好消息。不过正文没披露复现需要多少卡、数据怎么配,这点先别太激动。整体属于有干货、有对比、但热度还没起来的阶段,放 featured 低位合适。

AI HOT 精选

Qwen3.7预览版上线竞技场,阿里视觉排名冲到第五

阿里云在 X 上官宣 Qwen3.7-Plus-Preview 已经挂上竞技场,同时提到自家在视觉榜单上排到第五。帖子没给具体跑分、参评模型数量,也没说 Qwen3.7 系列什么时候正式发,只说“迫不及待要发布”。我会先打个折:排名第五听着不错,但不知道跟谁比、怎么比,这点先别太激动。

推荐理由:Qwen3.7-Plus-Preview 上了 Arena 并拿到视觉第五,我会先打个折——正文没披露具体分数、同期参评模型有多少、也没说什么时候正式发布。排名能说明模型在视觉任务上有竞争力,但信息缺口不小,分数暂时放在 featured 低位。

r/LocalLLaMA

有人租了 21 款 GPU 跑同一个 5GB 显存的小 TTS 模型,实测速度差距

一位 Reddit 用户为了测 OmniVoice 这个小 TTS 模型,在 vast.ai 上租了 21 款不同的 GPU。模型跑起来显存峰值大概 5GB,不算大。测试用 xRT 作为音频生成速度的指标,每张卡都跑了 3 次带参考音频的声音克隆取平均。正文没披露具体哪张卡最快、速度差多少倍,也没给价格和性价比对比,所以只能看出有人在认真做横向实测,但...

推荐理由:一个 Reddit 用户用 vast.ai 租了 21 款 GPU,跑 OmniVoice 这个小体量 TTS 模型,峰值显存才 5GB,每次测试跑 3 遍取平均 xRT。我会先打个折:这是个人在云租用环境下的非严格基准,不是实验室受控测试,但胜在真实、直接,能帮想自己部署语音合成的人快速筛显卡。正文没披露具体 xRT 数值表,只给了结论性对比,这点先别太激动。整体信息量对本地推理圈子有用,但范围偏窄,所以放在低 featured 档。