跳到正文

#评测/基准

今日 0 条

11月15日星期日

Computing Life · Share · 鸭哥调研

一次出图可用率不到两成:Seedream 5.5 的生图表现与模型选型分析

Seedream 5.5 在字节官方商业场景测试中的一次出图整体可用率约为 18%,高于上一代的约 11%,文章据此分析局部改图、素材导出与模型选型。新模型尚未进入 Artificial Analysis 榜单,旧版 Seedream 5.0 Pro 在文生图榜排第 18、图像编辑榜排第 11,不能直接用旧版排名判断新版表现。

The Decoder

Gemini 4 Carbon 登顶 MathArena,成本约为 GPT-6.1 Sol 的15倍

Google 的 Gemini 4 Carbon 登顶数学基准 MathArena,超过 GPT-6.1 Sol,Claude Fable 5.2 位居第二。三者的预期表现分别为85.4% ±3.0%、80.6% ±2.7%和82.8% ±5.3%;测试所用推理设置下,Carbon 和 Fable 5.2 的成本分别约为 GPT-6.1 Sol 的15倍和40倍。

11月11日星期三

Hacker News 首页

16 个大语言模型挑战 TIS-100,评测解题与程序优化能力

Wincon 在 TIS-100 的 55 道谜题上测试了 16 个大语言模型,在 18 道题中获得 133 个新的帕累托前沿点,并打破 3 项运行周期纪录。Opus 5.5 与 GPT-6 Astra 均解出全部 55 道题,各在 11 道题上找到新前沿点,两者的纪录接近度差异未达到统计显著水平。计入结果的程序均经过真实游戏重放及 100,000 次测试,社区玩家随后进一步优化了其中多数程序。

11月10日星期二

Hacker News 首页

Fable 5.2 一次执行做出侄子梦想中的游戏,后续扩展至 18 个角色

lexandstuff 实测 Claude Code 搭配 Fable 5.2,从侄子的设计图和已有游戏代码出发,一次执行生成了可玩的 12 关横版动作游戏。模型重写了大部分代码,生成约 175 张图片和 140 段音频,并编写机器人在无头浏览器中跑完十二关、检查截图。

推荐理由:Fable 5.2 编写机器人在无头浏览器中跑完十二关并检查截图,将自动试玩与画面检查用于生成游戏的基础测试。

11月8日星期日

Computing Life · Share · 鸭哥调研

Kimi K3.1 Pro 为何能在隔离考场中复述隐藏判分规则?

R40 审计发现,Kimi K3.1 Pro 在 Terminal-Bench 4.0 的 23.3% 尝试中,未运行探测命令就复述了隐藏判分规则。反事实实验修改现场要求后,其在四道题上的总通过率从 90% 降至 15%,文章据此解读上下文蒸馏及训练数据供应链可能带来的基准污染。审计强调,这些行为与使用隐藏规则进行上下文蒸馏相吻合,但无法判定相关材料来自内部构建还是外部采购,也不能定性为主观作弊。

推荐理由:R40 通过修改现场代码注释并反转判分规则,检验 Kimi K3.1 Pro 遵循新要求还是复用旧规则,为区分现场解题与题库记忆提供了测试方法。

11月7日星期六

11月6日星期五

Hacker News 首页

Village 评测显示闭源 AI 模型占据价格性能前沿

Village 的 LLM Atlas 评测显示,闭源模型占据几乎所有预算档位的价格性能前沿,开源权重模型的最优占比从六月的41%降至3%。GPT-6 Luna、GPT-6.1 Terra 和 Claude Haiku 5.5 覆盖了开源模型此前领先的预算区间,开源模型目前主要在最低价区间占优。

11月4日星期三

Simon Willison

实测 Qwen 3.8 27B:笔记本上也能解读模型权重

Simon Willison 在笔记本上运行 Qwen 3.8 27B,仅凭原始权重、无工具调用,成功识别三个游戏网络的用途。模型识别 Pac-Man、Pong 和 Breakout 分别耗时 46m 12s、1h 4m 54s 和 52m 25s,将 Freeway 误判为类似 Pac-Man 的游戏。

11月3日星期二

Hacker News 首页

Claude Opus 5.5 建筑制图实测:人工指导下可生成许可级图纸

建筑师测试13个AI模型后认为,Claude Opus 5.5在专业指导下可为简单建筑生成达到建筑许可质量的图纸。模型通过Python代码生成可缩放、可在CAD中编辑的矢量线条,住宅图纸耗时十二小时、计算成本数百美元。各模型获得的人工反馈量不同,Opus 5.5接受了最多反馈,包括两轮红线批注,最终图纸仍遗漏当地法规要求的第二条疏散路径。

11月1日星期日

Hacker News 首页

GPT-5.6 Sol 在和平模式下通关 Factorio

Ryan Madden 实测让 GPT-5.6 Sol 在 Codex 中以低思考级别运行,用 13.5 小时游戏时间通关无虫族敌人的 Factorio 和平模式。模型通过 Python 库操作游戏,并遵守玩家操作距离、战争迷雾等与 GUI 玩家相同的限制。相比 GPT-5.5 不使用传送带的问题,本次表现有所改善,但后期生产系统衔接失败拖慢了进度,Sol 最终依靠反复搬运物资完成火箭发射。

10月30日星期五

AI HOT · 技巧与观点

OpenRouter 实测 Claude Opus、Sonnet 与 Haiku 5.5,如何选择

OpenRouter 实测建议默认使用 Claude Sonnet 5.5,高量请求和子智能体使用 Haiku 5.5,长且模糊、出错代价高的任务保留 Opus 5.5。

推荐理由:OpenRouter 在相同编码任务上比较 Claude 三款模型,全部通过测试时每任务成本仍相差 19 至 30 倍。

10月29日星期四

Hacker News 首页

Gemini 4 Carbon 登顶 Artificial Analysis Intelligence Index v5

Google 的 Gemini 4 Carbon 在 Artificial Analysis Intelligence Index v5 获得 59 分,排名第一,编码智能体指数排名第二。

推荐理由:Artificial Analysis 将 Gemini 4 Carbon 与同类模型比较,其单任务成本低于 Claude Opus 5.5。

10月27日星期二

AI HOT · 模型

Artificial Analysis 评测 GPT-6.1 Terra:以不到前代三分之一的任务成本提升智能表现

Artificial Analysis 评测显示,GPT-6.1 Terra 在最高推理强度下的智能指数比 GPT-5.6 Terra 高 6 点,单任务成本由 $1.40 降至 $0.40。

推荐理由:GPT-6.1 Terra 在低和中等推理强度下处于智能与成本的帕累托前沿,最高强度的单任务成本低于前代三分之一。

10月26日星期一

10月25日星期日

10月24日星期六

Hacker News 首页

Kimi K3.1 在 Artificial Analysis 得分 55,进入帕累托前沿

Kimi K3.1 在 Artificial Analysis 评测中得分 55,位列帕累托前沿。该评测的智能指数涵盖模型在特定能力与行业上的表现,并对比 token 用量、成本、上下文窗口、输出速度与延迟等指标。

10月23日星期五

10月21日星期三

OpenAI News

Terminal X 用 GPT-6.1 让 Eval Agent 与资深投资人判断一致率达 88.6%

Terminal X 的 Eval Agent 基于 GPT-6.1 Sol,在 500 条评分判断中与资深人类评审的一致率达 88.6%,比次优模型高 220 个基点。该 Agent 按 54 项标准评分,对偏离基金投资授权范围的回答检出率提升约 25%,单次查询成本降低约 30%。一家私募股权客户借助自动化的尽职调查与投资备忘录流程,实现年化 240 万美元节省。

10月20日星期二

AI HOT · 模型

DeepSeek-V4.1-Flash-20261017 (Max) 登顶 Agent Arena 开源模型第一

DeepSeek-V4.1-Flash-20261017 (Max) 成为 Agent Arena 排名第一的开源模型,总榜第 11,基于超 7.5K 真实会话净提升 +5.1%。其中位任务成本 $0.20,约为 GPT-6.1 Sol 提升幅度的 37%、成本的 27%,Confirmed Success 提升 +11.5%,且无 Tool Hallucination 问题。

10月19日星期一

10月18日星期日

The Decoder

四个 Gemini 4 Argon 智能体在无人帮助下通关 Minecraft

Google DeepMind 团队的四个 Gemini 4 Argon 智能体在无人干预下击败末影龙,完成 Minecraft 通关。团队将它们置于随机生成的世界,未指定角色、策略或游戏专用工具;智能体自行分工、互相警告威胁、回收死亡队友的物品,并在共享记忆中记录失误。

Hacker News 首页

Show HN:用 Claude Opus 5.5 生成 500 个时钟,打包成 6.3 MB 单个 HTML 文件

开发者用 Claude Opus 5.5 在 Claude 聊天界面分多次会话生成了 500 个时钟,全部打包进一个 6.3 MB 的自包含 HTML 文件。作者称这是其个人版的「自行车上的鹈鹕」测试,用于检验前沿模型生成自包含网页的能力,并特别称赞 Opus 5.5 所造时钟的多样性与质量。

10月16日星期五

The Decoder

Google Gemini 4 Argon 的评测表现比近几个月其他 Google 模型更接近前沿水平

Google DeepMind 的 Gemini 4 Argon 在 Epoch AI 综合能力指数 ECI 中达到 165,接近 GPT-6 Astra 的 166 和 Opus 5.5 的 167。

推荐理由:Google 的 Argon 在两种测试环境中表现差距显著,保留推理与上下文压缩等厂商 API 功能也参与了基准能力的比较。

10月1日星期四

The Decoder

Google 发布 Gemini 4 Argon,基准追平 OpenAI 与 Anthropic 但未明显领先

Google 发布新前沿模型 Gemini 4 Argon,在多项基准上追平 OpenAI 的 GPT-6 Astra 和 Anthropic 的 Claude Fable 5.1,但未取得明显领先。

推荐理由:Google 发布 Gemini 4 Argon,第三方基准显示其追平 GPT-6 Astra 与 Claude Fable 5.1,但每任务消耗的输出 token 约为对手两倍。

AI HOT · 模型

Artificial Analysis 评测 Gemini 4 Argon:Google 重回智能前三梯队

Artificial Analysis 评测显示,Google DeepMind 的 Gemini 4 Argon 在高推理模式下于 Artificial Analysis Intelligence Index 得分 53,与 GPT-6 Astra(max,53)持平,领先 GPT-6.1 Sol(max,52)1 分。

推荐理由:Artificial Analysis 的评测显示,Gemini 4 Argon 高推理模式智能指数得分 53,与 GPT-6 Astra 持平,且幻觉率在同类模型中最低。

9月30日星期三

AI HOT · 模型

GPT-6.1 Sol 发布 7 天后接替 GPT-6 Sol,智能指数距 GPT-6 Astra 仅 1 分

GPT-6.1 Sol 在发布 7 天后接替 GPT-6 Sol,智能指数比 GPT-6 Astra 低 1 分,价格仍为每百万输入/输出 token 2 美元/10 美元,缓存读取折扣从 90% 升至 95%。

推荐理由:通过智能指数、成本与 token 效率的横向对比,读者可判断 GPT-6.1 Sol 在价格与能力之间的取舍。

9月29日星期二

AI HOT 精选

Claude Opus 5.5 (High) 在 Agent Arena 冲到第 2,中位成本降到 $1.31 一次任务

Arena 官方宣布 Claude Opus 5.5 (High) 进入 Agent Arena 排名第 2,净改进分 +12.15%,仅次于 Fable 5.1 (Max)。其中位价格为每任务 $1.31,比 Opus 5 (High) 便宜 40%、比 Opus 5 (Max) 便宜 56%。分项上 Steerability 排名第 1,为 +14.50%。

推荐理由:Claude Opus 5.5 (High) 在 Agent Arena 升至第 2,净改进分 +12.15%,中位成本降至每任务 $1.31,比 Opus 5 (High) 低 40%。

9月24日星期四

Hacker News 首页

Paper Office 发布:一套让 AI 智能体安全编辑 Word、PPT、Excel 的 Python 工具包

Paper Instruments 发布 Paper Office,一套基于 python-docx、python-pptx 和 OpenPyxl 改造的 Python 包,让智能体更安全、正确地操作 Word、PowerPoint 和 Excel 文件。

推荐理由:Paper Instruments 将 python-docx、python-pptx 和 OpenPyxl 改造为面向智能体的 Office 编辑工具包,在 61 项任务中通过率 92.5%,高于上游库的 80.7%。