跳到正文

评测基准

模型到底谁强:Benchmark 成绩、评测方法论争议与排行榜变化的持续记录。

最新精选

第 21–40 条 · 共 471 条

9月29日星期二

AI HOT 精选

GPT-6 Luna (Max) 在 Agent Arena 排第 23,单次任务成本 0.05 美元

Arena 用 8000 条真实智能体对话跑了一遍 GPT-6 Luna (Max),最终排名第 23,比上一代 GPT-5.6 Luna (xHigh) 前进了 6 位,净提升 1.6%。单次任务成本只要 0.05 美元,看着挺便宜,但正文没提延迟和具体任务类型,所以实际用起来快不快、擅长干什么活还不清楚。

推荐理由:Arena 用 8000 条真实智能体会话评测 GPT-6 Luna (Max),其排名第 23,较上一代 GPT-5.6 Luna (xHigh) 上升 6 位,单次任务成本 0.05 美元。

AI HOT 精选

Claude Sonnet 5.5 进 Arena 的 Agent 榜了,现在可以投票

Arena 宣布 Anthropic 的 Claude Sonnet 5.5 已进入 Agent Arena 并开放投票。Agent Arena 基于全球用户数百万个真实长程智能体任务评测模型,模型可使用 web search、filesystem 和 terminal 工具完成复杂工作流,榜单用因果追踪方法衡量模型相对平均模型的结果表现。

推荐理由:Claude Sonnet 5.5 进入 Arena 的 Agent Arena 并开放投票,该榜基于数百万个真实长程智能体任务,用因果追踪衡量模型相对平均模型的结果表现。

AI HOT 精选

Claude Opus 5.5 (High) 在 Agent Arena 冲到第 2,中位成本降到 $1.31 一次任务

Arena 官方宣布 Claude Opus 5.5 (High) 进入 Agent Arena 排名第 2,净改进分 +12.15%,仅次于 Fable 5.1 (Max)。其中位价格为每任务 $1.31,比 Opus 5 (High) 便宜 40%、比 Opus 5 (Max) 便宜 56%。分项上 Steerability 排名第 1,为 +14.50%。

推荐理由:Claude Opus 5.5 (High) 在 Agent Arena 升至第 2,净改进分 +12.15%,中位成本降至每任务 $1.31,比 Opus 5 (High) 低 40%。

AI HOT 精选

Claude Opus 5.5 (High) 在 Agent Arena 冲到第 2,成本比 Opus 5 (Max) 低 56%

Claude Opus 5.5 (High) 在 Agent Arena 榜单上拿了第 2 名,净改进分 +12.15%,只输给 Fable 5.1 (Max)。官方说它比上一代 Opus 5 (Max) 便宜 56%,但正文没给出具体价格和延迟数据,这个省钱幅度我先打个折,等实际跑量再看。

推荐理由:Claude Opus 5.5 (High) 在 Agent Arena 排名第 2,净改进分 +12.15%,官方称其成本比 Opus 5 (Max) 低 56%。

9月28日星期一

Computing Life · Share · 鸭哥调研

Agent 提到 PayPal 139 次,选中 0 次:软件买主不再是人,分发规则变了

Armature 用 16.9K 次沙箱会话测试 Claude Code、Codex 和 Cursor 如何接入开发工具,发现 PayPal 在支付场景被提及 139 次但被选中 0 次,同批运行中 Stripe 赢下 124 次。

推荐理由:Armature 用 16.9K 次沙箱会话记录 Claude Code、Codex 和 Cursor 实际接入开发工具的选择,支付场景中 PayPal 被提及 139 次却零次入选,Stripe 在同批运行中赢下 124 次。

9月26日星期六

Hacker News 首页

给大模型加水印会让 AI 智能体干活变慢、出错变多

Lasso Security 发布文章《The Provenance Tax: Understanding the Impact of LLM Watermarking on AI Agent Behavior》,讨论 LLM 水印对 AI 智能体行为的影响。原文正文实际抓取到的内容为网站 Cookie 同意声明与导航菜单,未包含文章实质论述。

推荐理由:Lasso Security 分析了给大模型加水印对 AI 智能体行为的影响,涉及准确率、延迟和输出长度等指标,为关注水印部署代价的读者提供参考。

9月25日星期五

Hacker News 首页

NSA 今年花了几十亿美元测试前沿 AI 模型,远超此前公开的数字

两个消息源透露,NSA 在闭门简报中告诉国会议员,今年光是用纳税人的钱评估和测试先进 AI 模型就花了几十亿美元。这个数字比外界之前知道的要高得多,导致议员们估算,要建一套完整的联邦 AI 监管体系,每年可能要花掉几百亿美元。文章没提具体在测哪些模型、用的是谁的算力,也没说这笔钱怎么拆分的。特朗普目前基本顶住了加强联邦 AI 监管的压力。

推荐理由:NSA在闭门简报中向国会议员披露,今年评估测试前沿AI模型已花掉几十亿美元,远高于外界此前所知,议员据此估算完整联邦AI监管体系每年或需数百亿美元。

9月24日星期四

Hacker News 首页

一张每日更新的模型性价比榜单,把 420 个模型的智商和价格画成一条“价值前沿线”

bestmodelforyourbudget.terrydjony.com 上线了一个按预算查询 LLM 的页面,把 Artificial Analysis 智能指数与混合 API 价格对照,标出性价比前沿模型,数据截至 2026 年 9 月 24 日、覆盖 420 个模型。

推荐理由:该页面把 420 个模型的智能指数与混合 API 价格画成散点,并标出性价比前沿线,按预算区间直接给出对应价位得分最高的模型。

Hacker News 首页

Paper Office 发布:一套让 AI 智能体安全编辑 Word、PPT、Excel 的 Python 工具包

Paper Instruments 发布 Paper Office,一套基于 python-docx、python-pptx 和 OpenPyxl 改造的 Python 包,让智能体更安全、正确地操作 Word、PowerPoint 和 Excel 文件。

推荐理由:Paper Instruments 将 python-docx、python-pptx 和 OpenPyxl 改造为面向智能体的 Office 编辑工具包,在 61 项任务中通过率 92.5%,高于上游库的 80.7%。

Hacker News 首页

开源提示注入检测器几乎抓不到藏在工具输出里的真实攻击,Regex 检出率 0%,Meta Prompt Guard 2 只有 1%

GitHub 项目 buried-injections 用 AgentDojo v1 的 629 条真实注入攻击测试 10 个开源提示词注入检测器,攻击被埋在工具输出中时,正则方法检出率为 0%,Meta 的 Prompt Guard 2 检出率为 1%。该仓库提供可复现的基准,代码与数据以 MIT 许可开源。

推荐理由:GitHub 项目 buried-injections 用 AgentDojo v1 的 629 条攻击测试 10 个开源检测器,攻击藏在工具输出中时 Regex 检出率为 0%,Meta 的 Prompt Guard 2 为 1%,并公开可复现基准。

AI HOT 精选

Claude Opus 5.5 在编程智能体评测里拿了第一,但跑一次任务要花 13 美元

Artificial Analysis 测评显示,Claude Opus 5.5 在 Claude Code max effort 下以 66 分登顶 Coding Agent Index,比 Opus 5 的 60 分高 6 分。

推荐理由:Artificial Analysis 测评显示 Claude Opus 5.5 以 66 分登顶 Coding Agent Index,比 Opus 5 高 6 分,但单任务成本升至 13.04 美元。

AI HOT 精选

本周四个新模型把智能指数和成本的最优边界往外推了 11 个点

Artificial Analysis 称本周 MiMo-V2.6-Pro、Claude Opus 5.5、GPT-6 Luna 和 GPT-6 Sol 的发布在 Intelligence Index 与每任务成本 Pareto 前沿上新增十一个点位。其中 GPT-6 Luna 贡献五个,Claude Opus 5.5 贡献四个。

推荐理由:Artificial Analysis 数据显示,本周四个新模型把智能指数与每任务成本的最优边界向外推了十一个点位,其中 GPT-6 Luna 贡献五个,Claude Opus 5.5 贡献四个。

9月23日星期三

OpenAI News

OpenAI 开源心理健康评测集 MentalHealthBench,联合 80 多位持证心理医生,测模型在真实对话里靠不靠谱

OpenAI 发布开放基准 MentalHealthBench,用于衡量 AI 在真实心理健康对话中的表现,由来自 22 个国家的 80 多名持证心理健康专家共同构建。

推荐理由:OpenAI 联合 80 多名持证心理健康专家构建开放评测集 MentalHealthBench,覆盖真实对话场景,为衡量模型在心理健康对话中的表现提供了专家标注的参照。

Latent Space

Claude Opus 5.5 发布:写作质量大幅提升,成本降了 40%,直接成了 AINews 的默认模型

Anthropic 发布 Claude Opus 5.5,称其为新 Claude 5.5 家族首个模型,多数任务达到 Claude Fable 5.1 水平,运行成本比 Opus 5 低 40%,速度约快 30%。

推荐理由:Anthropic 发布 Claude Opus 5.5,官方称多数任务达到 Fable 5.1 水平,运行成本比 Opus 5 低 40%,速度约快 30%,第三方测算则显示单任务成本与 Opus 5 接近。

Computing Life · Share · 鸭哥调研

同一个工具开关,一个模型赚了,一个崩了:编程智能体外层设计的关键决策

一项实测研究把编程智能体的外层控制软件拆成任务规划、上下文管理和动作接口三个开关,逐一测试其作用。撤掉专用文件工具改用纯命令行后,Nemotron-3 550B 在 SWE-Bench Verified 上成功率从 65.80% 升至 69.40%。

推荐理由:研究团队把编程智能体的外层控制软件拆成三个开关逐一实测,撤掉专用文件工具后 Nemotron-3 550B 成功率升 3.6 个百分点、成本减半,Mistral-Medium-3.5-128B 却跌 23.2 个百分点。

AI HOT 精选

Arena 开始测 GPT-6 Sol 和 Luna 了,分数还没出,但你可以上手跑真实任务

Arena 放出了 OpenAI 两个新模型 GPT-6 Sol 和 GPT-6 Luna 的测试入口,目前还没公布评分。你可以直接去 Arena 让它们跑真实的智能体任务,然后投票,结果会进排行榜。正文没提模型规模、发布时间和定价,所以这些先别猜。

推荐理由:Arena 上线 OpenAI 的 GPT-6 Sol 与 GPT-6 Luna 测试入口,评分尚未公布,用户可让两个模型跑真实智能体任务并投票,投票结果计入排行榜。

AI HOT 精选

OpenAI 发布 GPT-6 Sol 和 Luna,API 价格比 GPT-5.6 直接砍半

OpenAI 发布 GPT-6 Sol 和 GPT-6 Luna,两款模型沿用 GPT-6 Astra 的训练方法,API 价格较 GPT-5.6 促销价降低 50%,Sol 输入从 $4 降至 $2、输出从 $20 降至 $10,Luna 输入从 $0.20 降至 $0.10、输出从 $1.20 降至 $0.50(每 100 万 tokens)。

推荐理由:OpenAI 发布 GPT-6 Sol 与 Luna,沿用 Astra 训练方法,API 价格较 GPT-5.6 促销价降 50%,Sol 输入从每百万 tokens 4 美元降至 2 美元。

AI HOT 精选

Claude Opus 5.5 进了 Arena 的 Agent 擂台,能联网、操作文件、跑终端,排名靠用户投票

Arena 把 Claude Opus 5.5 放上了 Agent Arena,让模型直接干长链条的活——可以自己上网搜资料、读写文件、敲命令行。排行榜不只看输赢,用的是因果追踪,看它比平均水平强多少。正文没具体说 Battle Mode 怎么打,也没给任务例子,所以实际有多能打还得等实测。

推荐理由:Arena 将 Claude Opus 5.5 放进 Agent Arena,让模型自行联网、读写文件并运行终端命令,排行榜以因果追踪衡量其相对平均模型的表现。

AI HOT 精选

Claude Opus 5.5 在智能评测中拿了最高分 58,还降了 20% 的价格

Claude Opus 5.5 在 Artificial Analysis 智能指数上以 58 分登顶,为目前测得的最高分,并在十项评测中的六项领先。Anthropic 将 Opus 定价降至每 1M 输入/输出 token 4/20 美元,缓存读取从 0.50 美元降至 0.20 美元。

推荐理由:Claude Opus 5.5 在 Artificial Analysis 智能指数上以 58 分登顶,十项评测中六项领先,同时 Anthropic 将 Opus 输入输出价格下调 20%。