跳到正文

评测基准

模型到底谁强:Benchmark 成绩、评测方法论争议与排行榜变化的持续记录。

最新精选

第 1–20 条 · 共 471 条

昨天 · 11月16日星期一

Computing Life · Share · 鸭哥调研

DeepSeek Harness 插件生态评测:相比 Claude Code 和 Cursor 能多做哪些事?

DeepSeek Harness 的插件可改动模型连接、对话历史、远端文件操作和界面布局,文章比较了这些能力与 Claude Code、Cursor、Codex 的差异。

推荐理由:DeepSeek Harness 允许插件替换模型连接、历史记录和界面组件,相比封闭这些入口的编程工具提供了更大的定制空间。

11月10日星期二

Hacker News 首页

Fable 5.2 一次执行做出侄子梦想中的游戏,后续扩展至 18 个角色

lexandstuff 实测 Claude Code 搭配 Fable 5.2,从侄子的设计图和已有游戏代码出发,一次执行生成了可玩的 12 关横版动作游戏。模型重写了大部分代码,生成约 175 张图片和 140 段音频,并编写机器人在无头浏览器中跑完十二关、检查截图。

推荐理由:Fable 5.2 编写机器人在无头浏览器中跑完十二关并检查截图,将自动试玩与画面检查用于生成游戏的基础测试。

Computing Life · Share · 鸭哥调研

Agent Harness 技巧评测解读:哪些框架设计能提升表现并降低成本

Surge AI 与 FireFlash 的对照实验显示,编程智能体可通过提高单模型思考深度、设置测试与目标核对关卡、改造终端管道提升表现。Surge AI 实验中,Compound Engineering 将成本提高至基线的 8 倍,成绩仅从 31.1 升至 32.9;Claude Opus 5.5 调高思考设置后达到 42.4,成本为基线的 3.5 倍。

推荐理由:Surge AI 与 FireFlash 团队拆解智能体框架技巧的成本收益,实验对比了多代理协作、单模型深度思考与终端管道改造。

11月8日星期日

Computing Life · Share · 鸭哥调研

Kimi K3.1 Pro 为何能在隔离考场中复述隐藏判分规则?

R40 审计发现,Kimi K3.1 Pro 在 Terminal-Bench 4.0 的 23.3% 尝试中,未运行探测命令就复述了隐藏判分规则。反事实实验修改现场要求后,其在四道题上的总通过率从 90% 降至 15%,文章据此解读上下文蒸馏及训练数据供应链可能带来的基准污染。审计强调,这些行为与使用隐藏规则进行上下文蒸馏相吻合,但无法判定相关材料来自内部构建还是外部采购,也不能定性为主观作弊。

推荐理由:R40 通过修改现场代码注释并反转判分规则,检验 Kimi K3.1 Pro 遵循新要求还是复用旧规则,为区分现场解题与题库记忆提供了测试方法。

10月30日星期五

AI HOT · 技巧与观点

OpenRouter 实测 Claude Opus、Sonnet 与 Haiku 5.5,如何选择

OpenRouter 实测建议默认使用 Claude Sonnet 5.5,高量请求和子智能体使用 Haiku 5.5,长且模糊、出错代价高的任务保留 Opus 5.5。

推荐理由:OpenRouter 在相同编码任务上比较 Claude 三款模型,全部通过测试时每任务成本仍相差 19 至 30 倍。

10月29日星期四

Hacker News 首页

Gemini 4 Carbon 登顶 Artificial Analysis Intelligence Index v5

Google 的 Gemini 4 Carbon 在 Artificial Analysis Intelligence Index v5 获得 59 分,排名第一,编码智能体指数排名第二。

推荐理由:Artificial Analysis 将 Gemini 4 Carbon 与同类模型比较,其单任务成本低于 Claude Opus 5.5。

10月28日星期三

AI HOT · 技巧与观点

Pydantic AI 基准实测:代码模式让长任务成本降 58%、耗时降 51%

Pydantic AI 在内部基准的 5,276 次评分运行中测试了 8 个模型,代码模式使长任务成本降低 58%、耗时降低 51%、成功率提高 16.0 个百分点。

推荐理由:Pydantic AI 用同一组工具比较两种执行方式,代码模式在长任务中节省成本,在少量操作中则可能增加开销。

10月27日星期二

AI HOT · 模型

Artificial Analysis 评测 GPT-6.1 Terra:以不到前代三分之一的任务成本提升智能表现

Artificial Analysis 评测显示,GPT-6.1 Terra 在最高推理强度下的智能指数比 GPT-5.6 Terra 高 6 点,单任务成本由 $1.40 降至 $0.40。

推荐理由:GPT-6.1 Terra 在低和中等推理强度下处于智能与成本的帕累托前沿,最高强度的单任务成本低于前代三分之一。

10月17日星期六

AI HOT · 行业

404 Media 实测 ChatGPT 如何基于提示词、手机号和邮箱定向投放广告

404 Media 实测发现,OpenAI 允许广告主依据邮箱、手机号或手机上的唯一标识符,向特定 ChatGPT 用户群体投放广告。广告定向也会使用用户输入的提示词,部分用户可能不知道广告主上传的个人数据被用于匹配广告。原文称 ChatGPT 拥有 10 亿月活跃用户,并指出个人数据定向在广告行业较为常见,而基于聊天提示词的定向方式较为新颖。

推荐理由:404 Media 实测发现 ChatGPT 广告可按提示词和个人标识定向投放,用户输入及广告主上传的个人数据都可能参与广告匹配。

10月16日星期五

The Decoder

Google Gemini 4 Argon 的评测表现比近几个月其他 Google 模型更接近前沿水平

Google DeepMind 的 Gemini 4 Argon 在 Epoch AI 综合能力指数 ECI 中达到 165,接近 GPT-6 Astra 的 166 和 Opus 5.5 的 167。

推荐理由:Google 的 Argon 在两种测试环境中表现差距显著,保留推理与上下文压缩等厂商 API 功能也参与了基准能力的比较。

10月14日星期三

AI HOT · 技巧与观点

Google 用 Gemini 4 Argon 无人值守优化约 205,000 行 ADK Python 代码

Google 用 Gemini 4 Argon 无人值守运行 11 小时,将 ADK 长会话的内存会话准备耗时降低约 40%,包导入耗时降低 21%。团队通过 .agents/skills 提供维护规范,并在 Google Antigravity 中启用 /goal 模式;模型提出 6 项优化,人工审查后合入会话复制与延迟导入两项改动。

推荐理由:Google 将仓库维护规范写入技能文件并让 Gemini 4 Argon 通宵优化代码,维护者再筛除脆弱方案形成可迁移的人机分工方法。

10月7日星期三

Hacker News 首页

LLM 重学电报体:Telegraph Test 评测文本压缩与信息保留

Telegraph Test 在 50 篇文本、约 1,300 个问题上测试 LLM 电报体压缩,跨模型读取的准确率与明文基线之比为 0.99–1.10。使用小写指令时,GLM-5.3-Flash 的记录节省 48.4% token,但直接以电报体作答的准确率比为 0.81;gpt-5-mini 因无法关闭推理,压缩后的写入费用约为明文的两倍。

推荐理由:Telegraph Test 将记录压缩与作答压缩分开测试,为智能体记忆提供了在内容确定后压缩、机器消费时保持简写的可迁移方法。

The Decoder

ChatGPT青少年版被评为不可接受风险,自杀相关对话未触发家长提醒

Common Sense Media青少年AI安全研究所在超过4,000条测试提示词后,将ChatGPT青少年版评为对未成年人具有“不可接受风险”。超过12个关联家长账户的新建测试账户在涉及自杀、自伤和饮食障碍的明确对话中均未触发通知,超过四分之一应提供危机转介的情境未引导用户寻求专业帮助。

推荐理由:青少年AI安全研究机构测试了ChatGPT的家长提醒,危机对话未触发通知的结果与其面向家长的安全承诺存在落差。

10月6日星期二

Hacker News 首页

Anthropic 与 OpenAI 订阅评测:日常主力模型的 API 等值价值约高 5x

SemiAnalysis 测算显示,在智能体工作负载下,Anthropic 的 Opus 5.5 订阅额度提供的 API 等值价值约为 OpenAI GPT 6.1 Sol 的 5x。

推荐理由:SemiAnalysis 分离不同 token 类型测量额度消耗,将订阅价值比较细化到套餐、模型和工作负载组合。

10月3日星期六

The Verge · AI

OpenAI Dots 实测:能代订晚餐,更擅长处理工作任务

OpenAI Dots 在作者实测中完成了网站改版和视频整理,但预约、购物等生活任务多次受阻于安全检查。作者通过语音沟通设计修改,并授权 Dots 访问电脑,成功部署网站更新、合并视频并调整为适合社交媒体的尺寸;这些操作需要授予大量权限。

推荐理由:作者实测 OpenAI Dots 在生活服务中频遇安全检查,在获授权的网站改版和视频整理任务中表现更顺畅。

10月1日星期四

The Decoder

Google 发布 Gemini 4 Argon,基准追平 OpenAI 与 Anthropic 但未明显领先

Google 发布新前沿模型 Gemini 4 Argon,在多项基准上追平 OpenAI 的 GPT-6 Astra 和 Anthropic 的 Claude Fable 5.1,但未取得明显领先。

推荐理由:Google 发布 Gemini 4 Argon,第三方基准显示其追平 GPT-6 Astra 与 Claude Fable 5.1,但每任务消耗的输出 token 约为对手两倍。

AI HOT · 模型

Artificial Analysis 评测 Gemini 4 Argon:Google 重回智能前三梯队

Artificial Analysis 评测显示,Google DeepMind 的 Gemini 4 Argon 在高推理模式下于 Artificial Analysis Intelligence Index 得分 53,与 GPT-6 Astra(max,53)持平,领先 GPT-6.1 Sol(max,52)1 分。

推荐理由:Artificial Analysis 的评测显示,Gemini 4 Argon 高推理模式智能指数得分 53,与 GPT-6 Astra 持平,且幻觉率在同类模型中最低。

9月30日星期三

AI HOT · 模型

GPT-6.1 Sol 发布 7 天后接替 GPT-6 Sol,智能指数距 GPT-6 Astra 仅 1 分

GPT-6.1 Sol 在发布 7 天后接替 GPT-6 Sol,智能指数比 GPT-6 Astra 低 1 分,价格仍为每百万输入/输出 token 2 美元/10 美元,缓存读取折扣从 90% 升至 95%。

推荐理由:通过智能指数、成本与 token 效率的横向对比,读者可判断 GPT-6.1 Sol 在价格与能力之间的取舍。

9月29日星期二

Latent Space

Opus 5.5 的解说视频制作表现获社区好评

Opus 5.5 本周发布后,社区分享了多项通过 Claude Code 编写代码制作解说视频和动画的案例。一个复现案例称,约 1.5–2h、约 $4 即生成了包含脚本、素材、配音、音乐与音效的 30–60s 解说视频,并将 JavaScript canvas 动画渲染为 MP4。

推荐理由:社区用户用 Claude Code 和 Opus 5.5 串联脚本、素材、配音与代码动画,给出了可迁移的解说视频自动制作流程。

Hacker News 首页

Pac-Bench:一个 prompt 让模型写吃豆人,Claude Opus 5.5 拿了 99 分

作者发布 PacBench,用同一句提示词“Create a Pac-Man game in a single html page”测试模型与 harness 一次性生成 Pac-Man 的能力。

推荐理由:作者用同一句提示词让 30 个模型与 harness 一次性生成吃豆人,并按操作、幽灵、迷宫等维度逐项打分,可横向比较各家在单页游戏生成上的完成度。