跳到正文

#评测/基准

今日 1 条

11月1日星期日

Hacker News 首页

GPT-5.6 Sol 在和平模式下通关 Factorio

Ryan Madden 实测让 GPT-5.6 Sol 在 Codex 中以低思考级别运行,用 13.5 小时游戏时间通关无虫族敌人的 Factorio 和平模式。模型通过 Python 库操作游戏,并遵守玩家操作距离、战争迷雾等与 GUI 玩家相同的限制。相比 GPT-5.5 不使用传送带的问题,本次表现有所改善,但后期生产系统衔接失败拖慢了进度,Sol 最终依靠反复搬运物资完成火箭发射。

10月30日星期五

AI HOT · 技巧与观点

OpenRouter 实测 Claude Opus、Sonnet 与 Haiku 5.5,如何选择

OpenRouter 实测建议默认使用 Claude Sonnet 5.5,高量请求和子智能体使用 Haiku 5.5,长且模糊、出错代价高的任务保留 Opus 5.5。

推荐理由:OpenRouter 在相同编码任务上比较 Claude 三款模型,全部通过测试时每任务成本仍相差 19 至 30 倍。

Hacker News 首页

Claude Duet 实测:个人助理式框架为何开始比繁琐更有用

Claude Duet 在作者实测中凭借快速响应、频道自动整理和分层权限,正在替代其大部分 AI 工作流。它可按频道限制 GitHub 仓库访问,不存储凭据,优先使用 Claude 现有连接器;顶层统览工作流,频道与子线程逐层收紧上下文和访问范围。产品仍处于 beta,存在运行线程不可见、委派仓库权限未正确附加的问题,作者也认为 Dot 的语音交互仍更出色。

10月29日星期四

Hacker News 首页

Gemini 4 Carbon 登顶 Artificial Analysis Intelligence Index v5

Google 的 Gemini 4 Carbon 在 Artificial Analysis Intelligence Index v5 获得 59 分,排名第一,编码智能体指数排名第二。

推荐理由:Artificial Analysis 将 Gemini 4 Carbon 与同类模型比较,其单任务成本低于 Claude Opus 5.5。

Hacker News 首页

Benjamin Skuse 用 AI 伪造科学论文,测试 IEEE Access 能否识别

Benjamin Skuse 经 IEEE Access 同意,分别用免费大语言模型和自动化科研系统 FARS 生成论文,两轮测试均未通过期刊检查。第一轮论文由 ChatGPT 和 Gemini 生成,STM Integrity Hub 检出 12 条虚构引用,MolecularConnections 无法验证其中 24 条引用。

10月28日星期三

AI HOT · 技巧与观点

Pydantic AI 基准实测:代码模式让长任务成本降 58%、耗时降 51%

Pydantic AI 在内部基准的 5,276 次评分运行中测试了 8 个模型,代码模式使长任务成本降低 58%、耗时降低 51%、成功率提高 16.0 个百分点。

推荐理由:Pydantic AI 用同一组工具比较两种执行方式,代码模式在长任务中节省成本,在少量操作中则可能增加开销。

10月27日星期二

AI HOT · 模型

Artificial Analysis 评测 GPT-6.1 Terra:以不到前代三分之一的任务成本提升智能表现

Artificial Analysis 评测显示,GPT-6.1 Terra 在最高推理强度下的智能指数比 GPT-5.6 Terra 高 6 点,单任务成本由 $1.40 降至 $0.40。

推荐理由:GPT-6.1 Terra 在低和中等推理强度下处于智能与成本的帕累托前沿,最高强度的单任务成本低于前代三分之一。

10月26日星期一

TechCrunch · AI

Grok 发布 AI 生成版《奥德赛》的前七分钟

Grok 发布 AI 生成版《奥德赛》的前七分钟,将其称为《奥德赛》系列第一集。三个月前,Elon Musk 曾宣布将推出一部“历史准确”的长片版本;此次作品由 Grok 与 Wonder Studios、导演 Dev Walker 合作制作。TechCrunch 作者 Anthony Ha 观看后认为,部分镜头接近真人实拍,但冗长旁白、生硬对白和缺乏推进感的叙事削弱了观看吸引力。

10月25日星期日

10月24日星期六

Hacker News 首页

Show HN:在含随机性的解谜游戏 Drop7 中搜索最优策略

一项针对 Drop7 的自主策略研究显示,基于 n-tuple 查表的评估器在深度 3 搜索下、512 局未见过的公开开发局中平均得分 487,066,比同一搜索内手工评估函数(326,717)高出约 16 万分。该结果于 2026-09-05 首次在 screen 层级击败冻结的公平评估叶,次日以 SHA-256 校验的同一查表复现,但仍远低于百万分目标,尚未进入资格赛。

Hacker News 首页

Kimi K3.1 在 Artificial Analysis 得分 55,进入帕累托前沿

Kimi K3.1 在 Artificial Analysis 评测中得分 55,位列帕累托前沿。该评测的智能指数涵盖模型在特定能力与行业上的表现,并对比 token 用量、成本、上下文窗口、输出速度与延迟等指标。

10月23日星期五

10月22日星期四

The Verge · AI

AI 智能体准备代购,Amazon 等零售商仍持谨慎态度

Mia Sato 实测 Meta 的购物智能体 Muse,发现零售商访问限制、反机器人检查和配送条件会妨碍购物任务完成。Amazon 已要求 Meta 将 Amazon 从 Muse 中移除,Target 的检查则使访问时而成功、时而受阻,限制了比价覆盖范围。在 The RealReal 上,Muse 能反复将 10 件商品加入购物车、续上每次 20 分钟的保留期,阻止其他顾客购买这些商品。

10月21日星期三

Hacker News 首页

eMudhra 的 CA 私钥为何能在毫秒内被破解:弱密钥与客户端风险实测

eMudhra 的 8 个中间 CA 私钥仅有单字节取值,文章作者从公开证书中用不到 1 秒恢复了全部私钥。Chrome 和 Firefox 已封禁相关中间证书,但作者本地实测发现,默认配置的 curl、Python 和 Node 接受了为 api.stripe.com 伪造的证书,Windows CryptoAPI 在未开启吊销检查时也接受该证书链。

OpenAI News

Terminal X 用 GPT-6.1 让 Eval Agent 与资深投资人判断一致率达 88.6%

Terminal X 的 Eval Agent 基于 GPT-6.1 Sol,在 500 条评分判断中与资深人类评审的一致率达 88.6%,比次优模型高 220 个基点。该 Agent 按 54 项标准评分,对偏离基金投资授权范围的回答检出率提升约 25%,单次查询成本降低约 30%。一家私募股权客户借助自动化的尽职调查与投资备忘录流程,实现年化 240 万美元节省。

Computing Life · Share · 鸭哥调研

开放模型任务成本解析:为什么 Muse 比 DeepSeek 更省 token 却更贵?

开放模型的单任务成本同时受 token 消耗和单价影响,Muse Spark Open 输出量不足 DeepSeek 的一半,任务费用却高出三倍多。Artificial Analysis 的评测中,两者综合成绩均为 39 分,平均每任务费用分别为 0.84 美元和 0.27 美元,计算涵盖输入、缓存、推理思维链及最终答案的 token 费用。

10月20日星期二

AI HOT · 模型

DeepSeek-V4.1-Flash-20261017 (Max) 登顶 Agent Arena 开源模型第一

DeepSeek-V4.1-Flash-20261017 (Max) 成为 Agent Arena 排名第一的开源模型,总榜第 11,基于超 7.5K 真实会话净提升 +5.1%。其中位任务成本 $0.20,约为 GPT-6.1 Sol 提升幅度的 37%、成本的 27%,Confirmed Success 提升 +11.5%,且无 Tool Hallucination 问题。

10月19日星期一

10月18日星期日

The Decoder

四个 Gemini 4 Argon 智能体在无人帮助下通关 Minecraft

Google DeepMind 团队的四个 Gemini 4 Argon 智能体在无人干预下击败末影龙,完成 Minecraft 通关。团队将它们置于随机生成的世界,未指定角色、策略或游戏专用工具;智能体自行分工、互相警告威胁、回收死亡队友的物品,并在共享记忆中记录失误。

Hacker News 首页

Show HN:用 Claude Opus 5.5 生成 500 个时钟,打包成 6.3 MB 单个 HTML 文件

开发者用 Claude Opus 5.5 在 Claude 聊天界面分多次会话生成了 500 个时钟,全部打包进一个 6.3 MB 的自包含 HTML 文件。作者称这是其个人版的「自行车上的鹈鹕」测试,用于检验前沿模型生成自包含网页的能力,并特别称赞 Opus 5.5 所造时钟的多样性与质量。

10月17日星期六

AI HOT · 行业

404 Media 实测 ChatGPT 如何基于提示词、手机号和邮箱定向投放广告

404 Media 实测发现,OpenAI 允许广告主依据邮箱、手机号或手机上的唯一标识符,向特定 ChatGPT 用户群体投放广告。广告定向也会使用用户输入的提示词,部分用户可能不知道广告主上传的个人数据被用于匹配广告。原文称 ChatGPT 拥有 10 亿月活跃用户,并指出个人数据定向在广告行业较为常见,而基于聊天提示词的定向方式较为新颖。

推荐理由:404 Media 实测发现 ChatGPT 广告可按提示词和个人标识定向投放,用户输入及广告主上传的个人数据都可能参与广告匹配。

10月16日星期五

The Decoder

Google Gemini 4 Argon 的评测表现比近几个月其他 Google 模型更接近前沿水平

Google DeepMind 的 Gemini 4 Argon 在 Epoch AI 综合能力指数 ECI 中达到 165,接近 GPT-6 Astra 的 166 和 Opus 5.5 的 167。

推荐理由:Google 的 Argon 在两种测试环境中表现差距显著,保留推理与上下文压缩等厂商 API 功能也参与了基准能力的比较。