一次出图可用率不到两成:Seedream 5.5 的生图表现与模型选型分析
Seedream 5.5 在字节官方商业场景测试中的一次出图整体可用率约为 18%,高于上一代的约 11%,文章据此分析局部改图、素材导出与模型选型。新模型尚未进入 Artificial Analysis 榜单,旧版 Seedream 5.0 Pro 在文生图榜排第 18、图像编辑榜排第 11,不能直接用旧版排名判断新版表现。
Seedream 5.5 在字节官方商业场景测试中的一次出图整体可用率约为 18%,高于上一代的约 11%,文章据此分析局部改图、素材导出与模型选型。新模型尚未进入 Artificial Analysis 榜单,旧版 Seedream 5.0 Pro 在文生图榜排第 18、图像编辑榜排第 11,不能直接用旧版排名判断新版表现。
Google 的 Gemini 4 Carbon 登顶数学基准 MathArena,超过 GPT-6.1 Sol,Claude Fable 5.2 位居第二。三者的预期表现分别为85.4% ±3.0%、80.6% ±2.7%和82.8% ±5.3%;测试所用推理设置下,Carbon 和 Fable 5.2 的成本分别约为 GPT-6.1 Sol 的15倍和40倍。
Wincon 在 TIS-100 的 55 道谜题上测试了 16 个大语言模型,在 18 道题中获得 133 个新的帕累托前沿点,并打破 3 项运行周期纪录。Opus 5.5 与 GPT-6 Astra 均解出全部 55 道题,各在 11 道题上找到新前沿点,两者的纪录接近度差异未达到统计显著水平。计入结果的程序均经过真实游戏重放及 100,000 次测试,社区玩家随后进一步优化了其中多数程序。
Naive-N0.5-Flash 在独立实测中响应时间中位数更短,开启思考后的应用构建表现接近 DeepSeek V4.1 Flash 1017,复杂题目却消耗更多思考 tokens。
Anthropic 的 Fable 5.2 在 RLI 真实自由职业任务测试中完成率达到 41.3%,一年前领先系统 Manus 仅为 2.5%。排名其后的 Opus 5.5 和 GPT 6 Astra 分别达到 21.25% 和 20.83%,Fable 5.2 的主要进步集中在音频与音乐编辑、建筑与室内设计及 3D 模型制作。
lexandstuff 实测 Claude Code 搭配 Fable 5.2,从侄子的设计图和已有游戏代码出发,一次执行生成了可玩的 12 关横版动作游戏。模型重写了大部分代码,生成约 175 张图片和 140 段音频,并编写机器人在无头浏览器中跑完十二关、检查截图。
推荐理由:Fable 5.2 编写机器人在无头浏览器中跑完十二关并检查截图,将自动试玩与画面检查用于生成游戏的基础测试。
Claude Fable 5.2 在 Artificial Analysis Intelligence Index v5.0.1 上得分 65,为目前最高分。
R40 审计发现,Kimi K3.1 Pro 在 Terminal-Bench 4.0 的 23.3% 尝试中,未运行探测命令就复述了隐藏判分规则。反事实实验修改现场要求后,其在四道题上的总通过率从 90% 降至 15%,文章据此解读上下文蒸馏及训练数据供应链可能带来的基准污染。审计强调,这些行为与使用隐藏规则进行上下文蒸馏相吻合,但无法判定相关材料来自内部构建还是外部采购,也不能定性为主观作弊。
推荐理由:R40 通过修改现场代码注释并反转判分规则,检验 Kimi K3.1 Pro 遵循新要求还是复用旧规则,为区分现场解题与题库记忆提供了测试方法。
Vals AI 研究人员读取 Thinking Machines 的 Inkling 2 Small 在 13 个基准、2655 次运行中的思考日志,发现 50 次运行出现 "fuck" 及其变体,共 316 次,其中 241 次来自两次失控运行。
Hightouch 的身份匹配评测显示,Jev 将置信度为 30–90% 的案例交给 Claude Opus 5.5 复核,在较容易测试中达到 98.8% 准确率,每 1,000 个身份成本为 $0.88,Opus 单独运行则为 99.0% 和 $3.86。
Village 的 LLM Atlas 评测显示,闭源模型占据几乎所有预算档位的价格性能前沿,开源权重模型的最优占比从六月的41%降至3%。GPT-6 Luna、GPT-6.1 Terra 和 Claude Haiku 5.5 覆盖了开源模型此前领先的预算区间,开源模型目前主要在最低价区间占优。
Dwarkesh Patel 用 Blood on the Clocktower 社交欺骗游戏评测 AI 的协作、欺骗与长期推理能力,运行了 386 场同模型组队对抗。
Simon Willison 在笔记本上运行 Qwen 3.8 27B,仅凭原始权重、无工具调用,成功识别三个游戏网络的用途。模型识别 Pac-Man、Pong 和 Breakout 分别耗时 46m 12s、1h 4m 54s 和 52m 25s,将 Freeway 误判为类似 Pac-Man 的游戏。
建筑师测试13个AI模型后认为,Claude Opus 5.5在专业指导下可为简单建筑生成达到建筑许可质量的图纸。模型通过Python代码生成可缩放、可在CAD中编辑的矢量线条,住宅图纸耗时十二小时、计算成本数百美元。各模型获得的人工反馈量不同,Opus 5.5接受了最多反馈,包括两轮红线批注,最终图纸仍遗漏当地法规要求的第二条疏散路径。
Memdoor 复现 GVS5H 多智能体流程,五个 Qwen3.8-27B 在前十道 LiveCodeBench Hard 题目上测试五轮,平均解出 9.8 题,原作者流程为 9.6 题、Fable 5 单模型为 8.0 题。
Ryan Madden 实测让 GPT-5.6 Sol 在 Codex 中以低思考级别运行,用 13.5 小时游戏时间通关无虫族敌人的 Factorio 和平模式。模型通过 Python 库操作游戏,并遵守玩家操作距离、战争迷雾等与 GUI 玩家相同的限制。相比 GPT-5.5 不使用传送带的问题,本次表现有所改善,但后期生产系统衔接失败拖慢了进度,Sol 最终依靠反复搬运物资完成火箭发射。
OpenRouter 实测建议默认使用 Claude Sonnet 5.5,高量请求和子智能体使用 Haiku 5.5,长且模糊、出错代价高的任务保留 Opus 5.5。
推荐理由:OpenRouter 在相同编码任务上比较 Claude 三款模型,全部通过测试时每任务成本仍相差 19 至 30 倍。
Google 的 Gemini 4 Carbon 在 Artificial Analysis Intelligence Index v5 获得 59 分,排名第一,编码智能体指数排名第二。
推荐理由:Artificial Analysis 将 Gemini 4 Carbon 与同类模型比较,其单任务成本低于 Claude Opus 5.5。
Google DeepMind 发布 Gemini 4 Carbon,在 Artificial Analysis Intelligence Index v5 以 59 分排名第 1,优先通过 Fairwind Program 向可信网络安全防御人员开放。
Google 推出 Gemini 4 Carbon,Sundar Pichai 称其在更新后的 Artificial Analysis Intelligence Index v5.0 中以 59 分排名第一。
Artificial Analysis 评测显示,GPT-6.1 Terra 在最高推理强度下的智能指数比 GPT-5.6 Terra 高 6 点,单任务成本由 $1.40 降至 $0.40。
推荐理由:GPT-6.1 Terra 在低和中等推理强度下处于智能与成本的帕累托前沿,最高强度的单任务成本低于前代三分之一。
皮肤科医生 Magnus Lynch 在 200 个活检确诊皮损上测试发现,微调后的 Inception v3 诊断准确率为 62%,GPT-6 Astra 和 Claude Fable 5.1 均约为 42%。
一种名为 ledger-based zero-shot self-orchestration 的免训练方法,让同一模型的新实例通过共享文件系统分解问题并协作,在 100 道最新高难度 LiveCodeBench 题上最高提升 25.6 个百分点。
Kimi K3.1 在 Artificial Analysis 评测中得分 55,位列帕累托前沿。该评测的智能指数涵盖模型在特定能力与行业上的表现,并对比 token 用量、成本、上下文窗口、输出速度与延迟等指标。
ModelCompare 向 12 个文本模型各提问 3 次,35 条有效回答中有 29 条被人工归为同一观点,即人类将归属、地位或自身叙事置于真相和原则之上。
Terminal X 的 Eval Agent 基于 GPT-6.1 Sol,在 500 条评分判断中与资深人类评审的一致率达 88.6%,比次优模型高 220 个基点。该 Agent 按 54 项标准评分,对偏离基金投资授权范围的回答检出率提升约 25%,单次查询成本降低约 30%。一家私募股权客户借助自动化的尽职调查与投资备忘录流程,实现年化 240 万美元节省。
OpenAI 针对 COBOL、Fortran、Visual Basic 等低资源语言优化了最新模型,GPT-6 Astra 在 MultiLangBench 上对 20 种语言的平均测试通过率达 87.4%,GPT-5.6 Terra 约为 38%。
marcusbuffett 用 10 个月开发了 Chessbook-1,为 Chessbook 训练对局提供按棋手等级和时限模拟人类走法、失误及思考时间的模型。
DeepSeek-V4.1-Flash-20261017 (Max) 成为 Agent Arena 排名第一的开源模型,总榜第 11,基于超 7.5K 真实会话净提升 +5.1%。其中位任务成本 $0.20,约为 GPT-6.1 Sol 提升幅度的 37%、成本的 27%,Confirmed Success 提升 +11.5%,且无 Tool Hallucination 问题。
Meta 的 Muse Wonder Full (Max) 首次进入 Code Arena: WebDev 榜单,以 1726 分排名第 6。这一成绩使 Meta 成为该榜单第 3 实验室,此前该位置由 Google 持有。
DeepSeek-V4.1-Flash-20261017 (Max) 成为 Code Arena: WebDev 榜单第一开源模型,超过 Kimi K3 (Max),成本低约 10 倍。
Google DeepMind 团队的四个 Gemini 4 Argon 智能体在无人干预下击败末影龙,完成 Minecraft 通关。团队将它们置于随机生成的世界,未指定角色、策略或游戏专用工具;智能体自行分工、互相警告威胁、回收死亡队友的物品,并在共享记忆中记录失误。
开发者用 Claude Opus 5.5 在 Claude 聊天界面分多次会话生成了 500 个时钟,全部打包进一个 6.3 MB 的自包含 HTML 文件。作者称这是其个人版的「自行车上的鹈鹕」测试,用于检验前沿模型生成自包含网页的能力,并特别称赞 Opus 5.5 所造时钟的多样性与质量。
Google DeepMind 的 Gemini 4 Argon 在 Epoch AI 综合能力指数 ECI 中达到 165,接近 GPT-6 Astra 的 166 和 Opus 5.5 的 167。
推荐理由:Google 的 Argon 在两种测试环境中表现差距显著,保留推理与上下文压缩等厂商 API 功能也参与了基准能力的比较。
Google 发布新前沿模型 Gemini 4 Argon,在多项基准上追平 OpenAI 的 GPT-6 Astra 和 Anthropic 的 Claude Fable 5.1,但未取得明显领先。
推荐理由:Google 发布 Gemini 4 Argon,第三方基准显示其追平 GPT-6 Astra 与 Claude Fable 5.1,但每任务消耗的输出 token 约为对手两倍。
Artificial Analysis 评测显示,Google DeepMind 的 Gemini 4 Argon 在高推理模式下于 Artificial Analysis Intelligence Index 得分 53,与 GPT-6 Astra(max,53)持平,领先 GPT-6.1 Sol(max,52)1 分。
推荐理由:Artificial Analysis 的评测显示,Gemini 4 Argon 高推理模式智能指数得分 53,与 GPT-6 Astra 持平,且幻觉率在同类模型中最低。
GPT-6.1 Sol 在发布 7 天后接替 GPT-6 Sol,智能指数比 GPT-6 Astra 低 1 分,价格仍为每百万输入/输出 token 2 美元/10 美元,缓存读取折扣从 90% 升至 95%。
推荐理由:通过智能指数、成本与 token 效率的横向对比,读者可判断 GPT-6.1 Sol 在价格与能力之间的取舍。
Anthropic 发布 Claude 5.5 家族的第二款模型 Claude Sonnet 5.5,相比 Sonnet 5 运行速度快 30% 以上,多数工作场景成本最多降低 30%。
推荐理由:Anthropic 发布 Claude 5.5 家族第二款模型 Sonnet 5.5,在单价与上代持平的情况下,多数任务成本最多降低三成,输出速度提升三成以上。
Arena 官方宣布 Claude Opus 5.5 (High) 进入 Agent Arena 排名第 2,净改进分 +12.15%,仅次于 Fable 5.1 (Max)。其中位价格为每任务 $1.31,比 Opus 5 (High) 便宜 40%、比 Opus 5 (Max) 便宜 56%。分项上 Steerability 排名第 1,为 +14.50%。
推荐理由:Claude Opus 5.5 (High) 在 Agent Arena 升至第 2,净改进分 +12.15%,中位成本降至每任务 $1.31,比 Opus 5 (High) 低 40%。
Paper Instruments 发布 Paper Office,一套基于 python-docx、python-pptx 和 OpenPyxl 改造的 Python 包,让智能体更安全、正确地操作 Word、PowerPoint 和 Excel 文件。
推荐理由:Paper Instruments 将 python-docx、python-pptx 和 OpenPyxl 改造为面向智能体的 Office 编辑工具包,在 61 项任务中通过率 92.5%,高于上游库的 80.7%。