跳到正文

评测基准

模型到底谁强:Benchmark 成绩、评测方法论争议与排行榜变化的持续记录。

最新精选

第 341–360 条 · 共 471 条

5月6日星期三

r/LocalLLaMA

一个用公司内部数据测 RAG 的开放基准,模拟了 9 种数据源和 10 类检索失败模式

EnterpriseRAG-Bench 放出了一个 50 万文档的语料库,专门用来测 RAG 在公司内部数据上的表现。它模拟了 Redwood Inference 的 9 种数据源,并围绕 10 种检索失败模式设计了 500 个问题。基线测试显示,BM25 在整体上优于向量检索,而基于 agent/bash 的检索方式虽然完整度最高,但成本和延迟也明显更高。

推荐理由:EnterpriseRAG-Bench 用 50 万文档语料和 500 个问题测企业内网 RAG,覆盖 9 种数据源与 10 类检索失败模式,基线中 BM25 整体优于向量检索。

新智元 · 公众号

Salesforce 为推 AI 销售代理要招 1000 名应届生,岗位从写提示词到验收结果全包

Salesforce 的 CEO Marc Benioff 放话,因为 Agentforce 这个 AI 销售代理业务增长太猛,公司打算新招 1000 名应届生或实习生。Agentforce 的年化经常性收入涨了 169%,干到了 8 亿美元。新招的人主要干四件事:写提示词、做效果评估、盯着代理干活别出岔子、以及把项目交付落地。

推荐理由:Salesforce 因 Agentforce 年化经常性收入涨至 8 亿美元,计划新招 1000 名应届生和实习生,岗位涵盖写提示词、做效果评估、监督代理运行与项目交付。

NVIDIA 博客

NVIDIA 和 ServiceNow 搞了个企业桌面 AI 代理,叫 Project Arc

两家公司把合作又推了一步,这次是让 AI 代理直接在你的电脑桌面上干活。这个叫 Project Arc 的东西,通过 Action Fabric 连接企业软件,再用 OpenShell 建一个带权限管控的沙盒环境来执行操作,防止乱来。

推荐理由:英伟达与 ServiceNow 合作推出桌面 AI 代理 Project Arc,通过 Action Fabric 接入企业软件,并在 OpenShell 沙盒中执行带权限管控的操作。

The Verge · AI

OpenAI 说 ChatGPT 默认模型 GPT-5.5 Instant 的幻觉问题少了一大截

ChatGPT 把免费用户和 Plus 用户的默认模型换成了 GPT-5.5 Instant。OpenAI 内部测试显示,在容易出高风险幻觉的提示上,它比上一代 GPT-5.3 Instant 的瞎编次数少了 52.5%;在被标记为“难聊”的对话里,不准确的说法也降了 37.3%。

推荐理由:OpenAI 将 ChatGPT 默认模型换成 GPT-5.5 Instant,并给出内部测试中高风险幻觉提示瞎编次数较上代减少 52.5% 的数字,是了解默认模型迭代效果的直接参照。

5月5日星期二

r/LocalLLaMA

ProgramBench:让 AI 从零重建大型程序,目前看还不太行

这篇帖子介绍了一个新基准 ProgramBench,包含 200 个任务,专门考 AI 智能体能不能只靠一个可执行文件和一份使用说明,就把整个程序从零重新写出来。测试过程不允许联网、不允许反编译,相当于给 AI 一个黑盒子,让它猜里面是怎么实现的。

推荐理由:ProgramBench 用 200 个任务考察 AI 智能体能否仅凭可执行文件和使用说明从零重建程序,且禁止联网与反编译,测试结果显示智能体基本无法完成。

r/LocalLLaMA

Heretic 1.3 发布:模型可复现、内置跑分、显存占用更低

Heretic 1.3 这个版本主要干了三件事。第一,它现在能把跑模型时的环境——PyTorch 版本、GPU 型号、驱动、加速库这些——都打包记录下来,别人照着做就能复现结果,不用再猜“为啥我跑出来不一样”。

推荐理由:Heretic 1.3 把 PyTorch、GPU、驱动等运行环境打包记录,他人可照此复现结果,同时内置基准测试并降低显存峰值占用。

r/LocalLLaMA

Hugging Face 发了个交互式指南,横向对比不同框架下的强化学习训练环境

Hugging Face 的后训练团队花了一个月,用 verifiers、OpenEnv、Nemo-Gym、OpenRewards 等几套框架分别搭了强化学习环境,然后实际训模型来看哪种方案在扩展时更顺手。他们把这个过程做成了交互式指南,方便你点进去对比。

推荐理由:Hugging Face 后训练团队用一个月把 verifiers、OpenEnv、Nemo-Gym 等几套框架各搭一遍强化学习环境并实际训模型,横向比较它们在扩展时的差异。

The Verge · AI

Google、微软和 xAI 同意让美国政府在新模型发布前先做安全审查

三家大模型公司跟美国政府的 AI 标准与创新中心(CAISI)达成了协议,以后新模型在公开前会先交给 CAISI 跑一遍评估。CAISI 说从 2024 年到现在已经审了 40 个模型,但这次公告没提具体审了哪些模型、审多久、审完能不能卡发布。我会先打个折:这更像是一个流程上的公开表态,实际约束力要看后续审查范围和发布时间线怎么定,正文没披露这些细节。

推荐理由:Google、微软和 xAI 同意新模型公开前先交 CAISI 评估,该机构称 2024 年以来已审查 40 个模型,但审查范围与是否影响发布节奏尚未明确。

OpenAI News

GPT-5.5 Instant 系统卡发布,这是 OpenAI 首个在网络安全和生化风险上被标为“高能力”的 Instant 模型

OpenAI 放出了 GPT-5.5 Instant 的系统卡,确认了模型代号是 gpt-5.5-instant。这篇公告主要是定性说明,没有给出具体的评测分数、上下文窗口大小或发布时间。值得留意的是,这是 Instant 系列里第一次在网络安全、生物与化学武器制备这两个风险类别上被提升到“高能力”等级,并配套了相应的安全防护措施。

推荐理由:OpenAI 发布 GPT-5.5 Instant 系统卡,确认模型代号 gpt-5.5-instant,该系列在网络安全与生化武器制备两类风险上被提升到高能力等级并配套防护措施。

r/LocalLLaMA

分隔符+严格提示词让 Gemma 4 防注入率从 21% 飙到 100%,15 个模型 6100 次测试的基准结果

一位 Reddit 用户用 15 个模型、7 种攻击方式跑了 6100 多次提示注入测试。核心做法是把不可信文档用一长串随机分隔符包起来,再配上严格指令。Gemma 4 E4B 的防御率直接从 21.6% 拉到 100%。这个基准的指标很实在,只看“拦截成功数除以(拦截成功数+拦截失败数)”,可复现。

推荐理由:一位 Reddit 用户用 15 个模型、7 种攻击方式跑了 6100 多次提示注入测试,其中长随机分隔符加严格指令的做法把 Gemma 4 E4B 的防御率从 21.6% 拉到 100%。

r/LocalLLaMA

DeepSeek V4 Pro 在 FoodTruck Bench 上追平 GPT-5.2,晚了十周但成本只要十七分之一

Reddit 上有人发帖说,DeepSeek V4 Pro 在一个叫 FoodTruck Bench 的智能体评测里排到第四,中位数得分跟 GPT-5.2 只差 3%,但跑一轮任务的成本大概是后者的十七分之一。这个评测跑了 30 天,模型要用 34 种工具、带持久记忆、每天还得做反思,比较贴近真实业务流程。

推荐理由:DeepSeek V4 Pro 在跑了 30 天的 FoodTruck Bench 智能体评测中排到第四,中位数得分与 GPT-5.2 相差 3%,单轮成本约为后者的十七分之一。

新智元 · 公众号

CMU 论文实锤 GitHub 假星产业链:1 美元能买 10 颗星,热门仓库可能藏木马

卡内基梅隆大学的研究员扫了 2019 年 7 月到 2024 年 12 月的 GitHub 活动日志,用他们开发的 StarScout 工具揪出约 600 万次疑似刷星行为,涉及 18617 个仓库和 301000 个账号。刷星价格低到离谱,1 美元就能买 10 颗星。

推荐理由:卡内基梅隆大学团队用 StarScout 扫描五年多 GitHub 活动日志,识别出约 600 万次疑似刷星,涉及 18617 个仓库和 301000 个账号,刷星价格低至 1 美元 10 颗。

机器之心 · 公众号

Anthropic 联创预测:2028 年底前 AI 自己搞研发的概率超六成

Anthropic 联合创始人 Jack Clark 给了个时间点:到 2028 年底,AI 脱离人类独立做研发的概率超过 60%。他拿几个基准测试当证据——Claude Mythos Preview 在软件工程测试 SWE-Bench 上跑到 93.9%,Opus 4.5 在评估 AI 复现研究能力的 CORE-Bench 上拿到 95.5%。

推荐理由:Anthropic 联合创始人 Jack Clark 给出时间点,判断 2028 年底前 AI 无人类参与做研发的概率超过六成,并列出 Claude Mythos Preview 与 Opus 4.5 在两项基准上的成绩。

r/LocalLLaMA

本地跑 Qwen 给 Codex 当代码审查员、协作者和挑刺对手的实测

robert896r1 把 Qwen3.6 27B 的 GGUF 量化版放在 Codex 旁边当代码校验器,并放出了一套可复现的评测流程。测试覆盖了 Bartowski 和 Unsloth 两种量化来源、65k 和 128k 上下文窗口,以及 q8 和 f16 的 KV 缓存精度。

推荐理由:作者把 Qwen3.6 27B 的 GGUF 量化版放在 Codex 旁当代码校验器,并公开了覆盖两种量化来源、65k 与 128k 上下文及 q8、f16 KV 缓存精度的可复现评测流程。

5月4日星期一

r/LocalLLaMA

M3 Ultra 加 DGX Spark,能拼出一台 M5 Ultra-lite 吗?

Reddit 有人拿 DGX Spark 和 M3 Ultra 在 llama.cpp 里跑分,统一用 pp16384 上下文。Spark 比 M3 Ultra 快 1.4 到 3.4 倍,看模型:Qwen 27B 跑到 778 token/秒,M3 Ultra 是 340;Mistral 128B 跑到 241,M3 Ultra 只有 72。

推荐理由:Reddit 用户用 llama.cpp 在 pp16384 上下文下对比 DGX Spark 与 M3 Ultra 的推理速度,Spark 在 Qwen 27B 和 Mistral 128B 上快 1.4 到 3.4 倍。

Import AI

AI 研究即将全自动:Jack Clark 预测 2028 年底前,AI 自己造自己的概率超过六成

Jack Clark 根据公开数据做了一个判断:到 2028 年底,不需要人类插手的 AI 研发有超过 60% 的概率会出现。他主要拿两个指标说事。

推荐理由:Jack Clark 依据 SWE-Bench 和 METR 两项公开指标,判断 2028 年底前出现无需人类插手的 AI 研发概率超过六成,为观察 AI 研发自动化进度提供了一条可追踪的时间线。

r/LocalLLaMA

Mistral Medium 3.5 128B 和 Qwen 3.5 122B A10B 在 4 张 RTX 3080 20GB 上的跑分对比

一位 Reddit 用户用 4 张 RTX 3080 20GB 显卡跑了两个大模型。Mistral Medium 3.5 128B 在 llama.cpp 里把张量拆分(tensor split)打开后,生成速度从每秒 10.37 个 token 翻倍到 21.59。

推荐理由:Reddit 用户用 4 张 RTX 3080 20GB 实测两个大模型,Mistral Medium 3.5 128B 开启张量拆分后生成速度从每秒 10.37 个 token 升至 21.59。

新智元 · 公众号

DeepMind 用 AI 挑战 700 道数学难题,结果有一题题干是错的,AI 还硬写了数十页证明

Google DeepMind 搞了个叫 Aletheia 的流程,拿 Gemini Deep Think 去啃 700 道 Erdős 数学猜想。流程是先让模型生成 200 个候选答案,再用验证器筛到 63 个,最后产出 13 个原创解答。乌龙出在 Erdős-75 这道题上:题干本身就有问题,但 Aletheia 没发现,照样洋洋洒洒推导了几十页。

推荐理由:DeepMind 用 Aletheia 流程让 Gemini Deep Think 处理 700 道 Erdős 猜想,其中题干本身有误的 Erdős-75 仍被推导出几十页内容,自动验证在数学推理中的边界由此显现。

TechCrunch · AI

哈佛研究:AI 在急诊室给出的诊断比两位人类医生更准

哈佛医学院和贝斯以色列女执事医疗中心的研究团队在《科学》杂志发了一篇论文,拿大语言模型和急诊室医生比诊断准确率。结果至少有一个模型的表现超过了人类医生。但报道没提具体是哪个模型、测了多少病例、准确率数字是多少,也没说医生资历和评判标准。所以结论方向有意思,细节先别太激动。

推荐理由:哈佛医学院团队用真实急诊病例比较大语言模型与人类医生的诊断准确率,至少一个模型超过两名医生,该研究已发表于《科学》。

5月3日星期日

r/LocalLLaMA

本地模型后端生成基准测试:GLM、Qwen、DeepSeek 函数调用能力对比

AutoBe 发了一个后端代码生成基准,用函数调用来测模型设计数据库和 API 的能力。qwen3.5-35b-a3b 在测试里跟 gpt-5.4 打平,但样本量只有 4 个项目,而且评分工具是自己写的,可能有偏向。一个商场项目跑下来要消耗 2 到 3 亿 token,按 GPT 5.5 的定价算,单模型成本在 1000 到 1500 美元。

推荐理由:AutoBe 用函数调用测模型设计数据库和 API 的能力,qwen3.5-35b-a3b 在 4 个项目上与 gpt-5.4 打平,单个商场项目消耗 2 到 3 亿 token。