跳到正文

#评测/基准

今日 1 条

10月14日星期三

AI HOT · 技巧与观点

Google 用 Gemini 4 Argon 无人值守优化约 205,000 行 ADK Python 代码

Google 用 Gemini 4 Argon 无人值守运行 11 小时,将 ADK 长会话的内存会话准备耗时降低约 40%,包导入耗时降低 21%。团队通过 .agents/skills 提供维护规范,并在 Google Antigravity 中启用 /goal 模式;模型提出 6 项优化,人工审查后合入会话复制与延迟导入两项改动。

推荐理由:Google 将仓库维护规范写入技能文件并让 Gemini 4 Argon 通宵优化代码,维护者再筛除脆弱方案形成可迁移的人机分工方法。

10月7日星期三

Hacker News 首页

LLM 重学电报体:Telegraph Test 评测文本压缩与信息保留

Telegraph Test 在 50 篇文本、约 1,300 个问题上测试 LLM 电报体压缩,跨模型读取的准确率与明文基线之比为 0.99–1.10。使用小写指令时,GLM-5.3-Flash 的记录节省 48.4% token,但直接以电报体作答的准确率比为 0.81;gpt-5-mini 因无法关闭推理,压缩后的写入费用约为明文的两倍。

推荐理由:Telegraph Test 将记录压缩与作答压缩分开测试,为智能体记忆提供了在内容确定后压缩、机器消费时保持简写的可迁移方法。

The Decoder

ChatGPT青少年版被评为不可接受风险,自杀相关对话未触发家长提醒

Common Sense Media青少年AI安全研究所在超过4,000条测试提示词后,将ChatGPT青少年版评为对未成年人具有“不可接受风险”。超过12个关联家长账户的新建测试账户在涉及自杀、自伤和饮食障碍的明确对话中均未触发通知,超过四分之一应提供危机转介的情境未引导用户寻求专业帮助。

推荐理由:青少年AI安全研究机构测试了ChatGPT的家长提醒,危机对话未触发通知的结果与其面向家长的安全承诺存在落差。

10月6日星期二

Hacker News 首页

Anthropic 与 OpenAI 订阅评测:日常主力模型的 API 等值价值约高 5x

SemiAnalysis 测算显示,在智能体工作负载下,Anthropic 的 Opus 5.5 订阅额度提供的 API 等值价值约为 OpenAI GPT 6.1 Sol 的 5x。

推荐理由:SemiAnalysis 分离不同 token 类型测量额度消耗,将订阅价值比较细化到套餐、模型和工作负载组合。

10月3日星期六

The Verge · AI

OpenAI Dots 实测:能代订晚餐,更擅长处理工作任务

OpenAI Dots 在作者实测中完成了网站改版和视频整理,但预约、购物等生活任务多次受阻于安全检查。作者通过语音沟通设计修改,并授权 Dots 访问电脑,成功部署网站更新、合并视频并调整为适合社交媒体的尺寸;这些操作需要授予大量权限。

推荐理由:作者实测 OpenAI Dots 在生活服务中频遇安全检查,在获授权的网站改版和视频整理任务中表现更顺畅。

10月1日星期四

The Decoder

Google 发布 Gemini 4 Argon,基准追平 OpenAI 与 Anthropic 但未明显领先

Google 发布新前沿模型 Gemini 4 Argon,在多项基准上追平 OpenAI 的 GPT-6 Astra 和 Anthropic 的 Claude Fable 5.1,但未取得明显领先。

推荐理由:Google 发布 Gemini 4 Argon,第三方基准显示其追平 GPT-6 Astra 与 Claude Fable 5.1,但每任务消耗的输出 token 约为对手两倍。

AI HOT · 模型

Artificial Analysis 评测 Gemini 4 Argon:Google 重回智能前三梯队

Artificial Analysis 评测显示,Google DeepMind 的 Gemini 4 Argon 在高推理模式下于 Artificial Analysis Intelligence Index 得分 53,与 GPT-6 Astra(max,53)持平,领先 GPT-6.1 Sol(max,52)1 分。

推荐理由:Artificial Analysis 的评测显示,Gemini 4 Argon 高推理模式智能指数得分 53,与 GPT-6 Astra 持平,且幻觉率在同类模型中最低。

9月30日星期三

AI HOT · 模型

GPT-6.1 Sol 发布 7 天后接替 GPT-6 Sol,智能指数距 GPT-6 Astra 仅 1 分

GPT-6.1 Sol 在发布 7 天后接替 GPT-6 Sol,智能指数比 GPT-6 Astra 低 1 分,价格仍为每百万输入/输出 token 2 美元/10 美元,缓存读取折扣从 90% 升至 95%。

推荐理由:通过智能指数、成本与 token 效率的横向对比,读者可判断 GPT-6.1 Sol 在价格与能力之间的取舍。

9月29日星期二

Latent Space

Opus 5.5 的解说视频制作表现获社区好评

Opus 5.5 本周发布后,社区分享了多项通过 Claude Code 编写代码制作解说视频和动画的案例。一个复现案例称,约 1.5–2h、约 $4 即生成了包含脚本、素材、配音、音乐与音效的 30–60s 解说视频,并将 JavaScript canvas 动画渲染为 MP4。

推荐理由:社区用户用 Claude Code 和 Opus 5.5 串联脚本、素材、配音与代码动画,给出了可迁移的解说视频自动制作流程。

Hacker News 首页

Pac-Bench:一个 prompt 让模型写吃豆人,Claude Opus 5.5 拿了 99 分

作者发布 PacBench,用同一句提示词“Create a Pac-Man game in a single html page”测试模型与 harness 一次性生成 Pac-Man 的能力。

推荐理由:作者用同一句提示词让 30 个模型与 harness 一次性生成吃豆人,并按操作、幽灵、迷宫等维度逐项打分,可横向比较各家在单页游戏生成上的完成度。

AI HOT 精选

GPT-6 Luna (Max) 在 Agent Arena 排第 23,单次任务成本 0.05 美元

Arena 用 8000 条真实智能体对话跑了一遍 GPT-6 Luna (Max),最终排名第 23,比上一代 GPT-5.6 Luna (xHigh) 前进了 6 位,净提升 1.6%。单次任务成本只要 0.05 美元,看着挺便宜,但正文没提延迟和具体任务类型,所以实际用起来快不快、擅长干什么活还不清楚。

推荐理由:Arena 用 8000 条真实智能体会话评测 GPT-6 Luna (Max),其排名第 23,较上一代 GPT-5.6 Luna (xHigh) 上升 6 位,单次任务成本 0.05 美元。

AI HOT 精选

Claude Sonnet 5.5 进 Arena 的 Agent 榜了,现在可以投票

Arena 宣布 Anthropic 的 Claude Sonnet 5.5 已进入 Agent Arena 并开放投票。Agent Arena 基于全球用户数百万个真实长程智能体任务评测模型,模型可使用 web search、filesystem 和 terminal 工具完成复杂工作流,榜单用因果追踪方法衡量模型相对平均模型的结果表现。

推荐理由:Claude Sonnet 5.5 进入 Arena 的 Agent Arena 并开放投票,该榜基于数百万个真实长程智能体任务,用因果追踪衡量模型相对平均模型的结果表现。

AI HOT 精选

Claude Opus 5.5 (High) 在 Agent Arena 冲到第 2,中位成本降到 $1.31 一次任务

Arena 官方宣布 Claude Opus 5.5 (High) 进入 Agent Arena 排名第 2,净改进分 +12.15%,仅次于 Fable 5.1 (Max)。其中位价格为每任务 $1.31,比 Opus 5 (High) 便宜 40%、比 Opus 5 (Max) 便宜 56%。分项上 Steerability 排名第 1,为 +14.50%。

推荐理由:Claude Opus 5.5 (High) 在 Agent Arena 升至第 2,净改进分 +12.15%,中位成本降至每任务 $1.31,比 Opus 5 (High) 低 40%。

AI HOT 精选

Claude Opus 5.5 (High) 在 Agent Arena 冲到第 2,成本比 Opus 5 (Max) 低 56%

Claude Opus 5.5 (High) 在 Agent Arena 榜单上拿了第 2 名,净改进分 +12.15%,只输给 Fable 5.1 (Max)。官方说它比上一代 Opus 5 (Max) 便宜 56%,但正文没给出具体价格和延迟数据,这个省钱幅度我先打个折,等实际跑量再看。

推荐理由:Claude Opus 5.5 (High) 在 Agent Arena 排名第 2,净改进分 +12.15%,官方称其成本比 Opus 5 (Max) 低 56%。

9月28日星期一

Computing Life · Share · 鸭哥调研

Agent 提到 PayPal 139 次,选中 0 次:软件买主不再是人,分发规则变了

Armature 用 16.9K 次沙箱会话测试 Claude Code、Codex 和 Cursor 如何接入开发工具,发现 PayPal 在支付场景被提及 139 次但被选中 0 次,同批运行中 Stripe 赢下 124 次。

推荐理由:Armature 用 16.9K 次沙箱会话记录 Claude Code、Codex 和 Cursor 实际接入开发工具的选择,支付场景中 PayPal 被提及 139 次却零次入选,Stripe 在同批运行中赢下 124 次。

9月26日星期六

Hacker News 首页

给大模型加水印会让 AI 智能体干活变慢、出错变多

Lasso Security 发布文章《The Provenance Tax: Understanding the Impact of LLM Watermarking on AI Agent Behavior》,讨论 LLM 水印对 AI 智能体行为的影响。原文正文实际抓取到的内容为网站 Cookie 同意声明与导航菜单,未包含文章实质论述。

推荐理由:Lasso Security 分析了给大模型加水印对 AI 智能体行为的影响,涉及准确率、延迟和输出长度等指标,为关注水印部署代价的读者提供参考。

9月25日星期五

Hacker News 首页

NSA 今年花了几十亿美元测试前沿 AI 模型,远超此前公开的数字

两个消息源透露,NSA 在闭门简报中告诉国会议员,今年光是用纳税人的钱评估和测试先进 AI 模型就花了几十亿美元。这个数字比外界之前知道的要高得多,导致议员们估算,要建一套完整的联邦 AI 监管体系,每年可能要花掉几百亿美元。文章没提具体在测哪些模型、用的是谁的算力,也没说这笔钱怎么拆分的。特朗普目前基本顶住了加强联邦 AI 监管的压力。

推荐理由:NSA在闭门简报中向国会议员披露,今年评估测试前沿AI模型已花掉几十亿美元,远高于外界此前所知,议员据此估算完整联邦AI监管体系每年或需数百亿美元。

9月24日星期四

Hacker News 首页

一张每日更新的模型性价比榜单,把 420 个模型的智商和价格画成一条“价值前沿线”

bestmodelforyourbudget.terrydjony.com 上线了一个按预算查询 LLM 的页面,把 Artificial Analysis 智能指数与混合 API 价格对照,标出性价比前沿模型,数据截至 2026 年 9 月 24 日、覆盖 420 个模型。

推荐理由:该页面把 420 个模型的智能指数与混合 API 价格画成散点,并标出性价比前沿线,按预算区间直接给出对应价位得分最高的模型。

Hacker News 首页

Paper Office 发布:一套让 AI 智能体安全编辑 Word、PPT、Excel 的 Python 工具包

Paper Instruments 发布 Paper Office,一套基于 python-docx、python-pptx 和 OpenPyxl 改造的 Python 包,让智能体更安全、正确地操作 Word、PowerPoint 和 Excel 文件。

推荐理由:Paper Instruments 将 python-docx、python-pptx 和 OpenPyxl 改造为面向智能体的 Office 编辑工具包,在 61 项任务中通过率 92.5%,高于上游库的 80.7%。

Hacker News 首页

开源提示注入检测器几乎抓不到藏在工具输出里的真实攻击,Regex 检出率 0%,Meta Prompt Guard 2 只有 1%

GitHub 项目 buried-injections 用 AgentDojo v1 的 629 条真实注入攻击测试 10 个开源提示词注入检测器,攻击被埋在工具输出中时,正则方法检出率为 0%,Meta 的 Prompt Guard 2 检出率为 1%。该仓库提供可复现的基准,代码与数据以 MIT 许可开源。

推荐理由:GitHub 项目 buried-injections 用 AgentDojo v1 的 629 条攻击测试 10 个开源检测器,攻击藏在工具输出中时 Regex 检出率为 0%,Meta 的 Prompt Guard 2 为 1%,并公开可复现基准。

AI HOT 精选

Claude Opus 5.5 在编程智能体评测里拿了第一,但跑一次任务要花 13 美元

Artificial Analysis 测评显示,Claude Opus 5.5 在 Claude Code max effort 下以 66 分登顶 Coding Agent Index,比 Opus 5 的 60 分高 6 分。

推荐理由:Artificial Analysis 测评显示 Claude Opus 5.5 以 66 分登顶 Coding Agent Index,比 Opus 5 高 6 分,但单任务成本升至 13.04 美元。

AI HOT 精选

本周四个新模型把智能指数和成本的最优边界往外推了 11 个点

Artificial Analysis 称本周 MiMo-V2.6-Pro、Claude Opus 5.5、GPT-6 Luna 和 GPT-6 Sol 的发布在 Intelligence Index 与每任务成本 Pareto 前沿上新增十一个点位。其中 GPT-6 Luna 贡献五个,Claude Opus 5.5 贡献四个。

推荐理由:Artificial Analysis 数据显示,本周四个新模型把智能指数与每任务成本的最优边界向外推了十一个点位,其中 GPT-6 Luna 贡献五个,Claude Opus 5.5 贡献四个。

9月23日星期三

OpenAI News

OpenAI 开源心理健康评测集 MentalHealthBench,联合 80 多位持证心理医生,测模型在真实对话里靠不靠谱

OpenAI 发布开放基准 MentalHealthBench,用于衡量 AI 在真实心理健康对话中的表现,由来自 22 个国家的 80 多名持证心理健康专家共同构建。

推荐理由:OpenAI 联合 80 多名持证心理健康专家构建开放评测集 MentalHealthBench,覆盖真实对话场景,为衡量模型在心理健康对话中的表现提供了专家标注的参照。

Latent Space

Claude Opus 5.5 发布:写作质量大幅提升,成本降了 40%,直接成了 AINews 的默认模型

Anthropic 发布 Claude Opus 5.5,称其为新 Claude 5.5 家族首个模型,多数任务达到 Claude Fable 5.1 水平,运行成本比 Opus 5 低 40%,速度约快 30%。

推荐理由:Anthropic 发布 Claude Opus 5.5,官方称多数任务达到 Fable 5.1 水平,运行成本比 Opus 5 低 40%,速度约快 30%,第三方测算则显示单任务成本与 Opus 5 接近。

Computing Life · Share · 鸭哥调研

同一个工具开关,一个模型赚了,一个崩了:编程智能体外层设计的关键决策

一项实测研究把编程智能体的外层控制软件拆成任务规划、上下文管理和动作接口三个开关,逐一测试其作用。撤掉专用文件工具改用纯命令行后,Nemotron-3 550B 在 SWE-Bench Verified 上成功率从 65.80% 升至 69.40%。

推荐理由:研究团队把编程智能体的外层控制软件拆成三个开关逐一实测,撤掉专用文件工具后 Nemotron-3 550B 成功率升 3.6 个百分点、成本减半,Mistral-Medium-3.5-128B 却跌 23.2 个百分点。

AI HOT 精选

Arena 开始测 GPT-6 Sol 和 Luna 了,分数还没出,但你可以上手跑真实任务

Arena 放出了 OpenAI 两个新模型 GPT-6 Sol 和 GPT-6 Luna 的测试入口,目前还没公布评分。你可以直接去 Arena 让它们跑真实的智能体任务,然后投票,结果会进排行榜。正文没提模型规模、发布时间和定价,所以这些先别猜。

推荐理由:Arena 上线 OpenAI 的 GPT-6 Sol 与 GPT-6 Luna 测试入口,评分尚未公布,用户可让两个模型跑真实智能体任务并投票,投票结果计入排行榜。

AI HOT 精选

OpenAI 发布 GPT-6 Sol 和 Luna,API 价格比 GPT-5.6 直接砍半

OpenAI 发布 GPT-6 Sol 和 GPT-6 Luna,两款模型沿用 GPT-6 Astra 的训练方法,API 价格较 GPT-5.6 促销价降低 50%,Sol 输入从 $4 降至 $2、输出从 $20 降至 $10,Luna 输入从 $0.20 降至 $0.10、输出从 $1.20 降至 $0.50(每 100 万 tokens)。

推荐理由:OpenAI 发布 GPT-6 Sol 与 Luna,沿用 Astra 训练方法,API 价格较 GPT-5.6 促销价降 50%,Sol 输入从每百万 tokens 4 美元降至 2 美元。

AI HOT 精选

Claude Opus 5.5 进了 Arena 的 Agent 擂台,能联网、操作文件、跑终端,排名靠用户投票

Arena 把 Claude Opus 5.5 放上了 Agent Arena,让模型直接干长链条的活——可以自己上网搜资料、读写文件、敲命令行。排行榜不只看输赢,用的是因果追踪,看它比平均水平强多少。正文没具体说 Battle Mode 怎么打,也没给任务例子,所以实际有多能打还得等实测。

推荐理由:Arena 将 Claude Opus 5.5 放进 Agent Arena,让模型自行联网、读写文件并运行终端命令,排行榜以因果追踪衡量其相对平均模型的表现。

AI HOT 精选

Claude Opus 5.5 在智能评测中拿了最高分 58,还降了 20% 的价格

Claude Opus 5.5 在 Artificial Analysis 智能指数上以 58 分登顶,为目前测得的最高分,并在十项评测中的六项领先。Anthropic 将 Opus 定价降至每 1M 输入/输出 token 4/20 美元,缓存读取从 0.50 美元降至 0.20 美元。

推荐理由:Claude Opus 5.5 在 Artificial Analysis 智能指数上以 58 分登顶,十项评测中六项领先,同时 Anthropic 将 Opus 输入输出价格下调 20%。

9月22日星期二

Hacker News 首页

让 AI 代理反复优化 Rust 代码,直到跑赢顶尖开源库

Max Woolf 通过让智能体反复迭代优化 Rust 代码,在 UMAP 等算法上实现了比现有 SOTA 库更快的性能,累计加速达 2x-20x。他公开了所用提示词与基准测试结果,核心做法是用 criterion 建立真实性能基线,再要求智能体在不使用 unsafe 代码的前提下至少提速 1.2x 并持续迭代。

推荐理由:Max Woolf 公开了让 AI 代理反复迭代优化 Rust 代码的提示词与基准结果,在 UMAP 等算法上比成熟库快 2 到 20 倍,并禁用 unsafe 代码。

Computing Life · Share · 鸭哥调研

三条 AI 编程新闻,三个数字的读法

文章拆解近期三起 AI 编程事件中的量化数字:ZCode 被指后台打包工作区快照并尝试上传云端,单样本清单中 .git 目录占 86.6%;HarnessTax 评测在固定 Claude Fable 5 的前提下对比 Claude Code 与极简框架 Pi。

推荐理由:ZCode 被指在后台打包整个工作区并尝试上传云端,单样本清单中 .git 目录占 86.6%,版本历史对象可能含未脱敏密钥与内部分支名。

AI HOT 精选

小米 MiMo-V2.6-Pro 在 Code Arena WebDev 排到第10名左右,开源模型里排第3

小米发了两个全模态模型 MiMo-V2.6-Pro 和 Flash。Pro 版在 Code Arena 的网页开发榜上拿了 1628 分,比上一代 MiMo-V2.5-Pro 的 1475 分涨了 153 分,整体排第10名上下,在 MIT 许可的开源权重模型里大概排第3。Flash 版的跑分和参数量正文都没提。

推荐理由:小米 MiMo-V2.6-Pro 在 Code Arena 网页开发榜拿到 1628 分,比上一代高 153 分,整体排第 10 名上下,在 MIT 许可的开源权重模型里约第 3。

AI HOT 精选

小米 MiMo-V2.6-Pro 在开放权重模型智能指数里排到第一,得分从 26 跳到 46

小米放出了 MiMo-V2.6-Pro,在 Artificial Analysis 的智能指数上拿了 46 分,比上一代 V2.5-Pro 的 26 分涨了不少,现在是开放权重模型里最高的。不过正文没提参数量、具体架构和什么时候能公开用,这些关键信息都还缺着,所以这个分数先别太激动。

推荐理由:小米 MiMo-V2.6-Pro 在 Artificial Analysis 开放权重模型智能指数上取得 46 分,高于前代 V2.5-Pro 的 26 分,是目前开放权重模型中的最高分。

AI HOT 精选

小米 MiMo-V2.6-Pro 在开源模型智能指数上拿了第一,但关键信息还没公布

小米发了新模型 MiMo-V2.6-Pro,在 Artificial Analysis 的智能指数上拿了 46 分,是目前开源权重模型里最高的。作为对比,上一代 MiMo-V2.5-Pro 只有 26 分,这次提升幅度不小。不过正文没披露模型大小、训练数据和开源协议,这些都会直接影响实际能用在哪、怎么用,所以分数先看着,等细节出来再判断。

推荐理由:小米发布开源权重模型 MiMo-V2.6-Pro,在 Artificial Analysis 智能指数上以 46 分超过前代 MiMo-V2.5-Pro 的 26 分,成为开源权重模型中得分最高者。

9月21日星期一

AI HOT 精选

Fireworks AI 发布 FireRouter:前沿不再是单个模型,而是路由器

Fireworks AI 发布任务级模型路由 FireRouter,可在开源与闭源模型间按任务选择模型,并具备缓存感知能力。

推荐理由:Fireworks AI 发布任务级模型路由 FireRouter,在开源与闭源模型间按任务选择并具备缓存感知能力,其依据的 DeepSWE 测试显示按任务选模型可同时提升解决率并降低成本。

9月20日星期日

Hacker News 首页

提示词没那么重要,不如搭一套评估流水线来管住模型

工程师 Dan McKinley 在演讲《Prompts aren't Real》中提出,提示词不应被视为可独立维护的单元,因为把新提示词加入智能体会把它丢进一个与测试时完全不同的上下文环境,其他指令的叠加会影响其表现。

推荐理由:工程师 Dan McKinley 在演讲中提出,提示词无法作为独立单元维护,因为新指令加入智能体后会进入与测试时不同的上下文环境,进而影响表现。

9月19日星期六

Hacker News 首页

19 个模型打《星际争霸》,没有一个超过新手水平

作者 Ben Swerdlow 发布 Brood War Bench,让 19 个模型与 effort 配置在《星际争霸:母巢之战》中两两对战,Codex Astra / xhigh 以 18 胜 0 负、100% 胜率居首,Claude Fable 以 15 胜 3 负排第三。

推荐理由:作者 Ben Swerdlow 让 19 个模型与 effort 配置在《星际争霸:母巢之战》中两两对战,Codex Astra 的 xhigh 配置以 18 胜 0 负居首,所有模型都未超出新手水平。

9月17日星期四

Hacker News 首页

编程助手的“外壳”可能让你多花一倍的钱,准确率却没变

UC Berkeley 等机构的研究者在 SWE-bench Lite 和 Terminal-Bench 2.0 上评测了 7 个模型与 Claude Code、Codex CLI、Pi 三个 harness 组成的 21 组配对,发现 harness 选择对任务成功率影响很小,但成本差异显著,同一模型成功率相近时成本最高可差 5 倍。

推荐理由:UC Berkeley 等机构将 7 个模型与三种编程助手外壳配对测试,发现外壳对任务成功率影响很小,同一模型成本最高可差 5 倍。

Hacker News 首页

顶尖模型物理其实不差,是考题和评分标准本身出了大问题

arXiv 论文对六个常用物理基准做专家重评,发现多数被判错的案例源于评分错误、参考答案错误或题目表述不清,而非模型物理推理出错。

推荐理由:耶鲁等机构的研究者请物理专家重评六个常用物理基准,发现多数判错案例源于评分程序、参考答案或题目表述问题,而非模型推理出错。