#评测/基准

今日 2 条

今天 · 9月30日星期三 · 2 条

AI HOT 精选 · 模型9/29 00:00

GPT-6.1 Sol 发布 7 天后接替 GPT-6 Sol，智能指数距 GPT-6 Astra 仅 1 分

GPT-6.1 Sol 在发布 7 天后接替 GPT-6 Sol，智能指数比 GPT-6 Astra 低 1 分，价格仍为每百万输入/输出 token 2 美元/10 美元，缓存读取折扣从 90% 升至 95%。

推荐理由：通过智能指数、成本与 token 效率的横向对比，读者可判断 GPT-6.1 Sol 在价格与能力之间的取舍。

AI HOT 精选 · 模型9/30 02:15

Claude Sonnet 5.5 (High) 以 1699 分登 Code Arena: WebDev 第 4 名

Arena 公布 Claude Sonnet 5.5 (High) 在 Code Arena: WebDev 以 1699 分排第 4，混合价格约 $8 per Mtoken，比第 2、3 名便宜 80%。相较 Sonnet 5 (High) 的 1540 分提升 159 分，Reference-Based Design、Simulations、Gaming 均从第 30 多名升至第 4。

昨天 · 9月29日星期二

r/LocalLLaMA9/29 02:35

单张3090跑Qwen 27B，每秒95个token，上下文拉到26万

Reddit用户发帖说用一张RTX 3090跑Qwen 27B模型，生成了10万个token，吞吐量超过95 token/秒，上下文窗口开到262K。这个速度意味着本地跑长文本生成已经接近可用了——10万字级别的输出不用等太久。但帖子正文被Reddit屏蔽了，看不到具体用了什么量化、什么推理框架，也没法确认这是真实跑分还是某种优化后的极限测试。如果是真...

Hacker News 首页9/29 01:58

Anthropic 发布 Claude Sonnet 5.5：比上代快 30% 以上，单次任务成本最多降三成

Claude Sonnet 5.5 是 5.5 家族的第二款模型，定位是日常编码、修 bug 和做文档、幻灯片这类边界清晰的工作。它跑得比 Sonnet 5 快 30% 以上，虽然输入输出单价没变（每百万 token 输入 2 美元、输出 10 美元），但完成同样任务用的 token 更少，实际单次任务成本最多能降 30%。在测模型自主编程能力的 Te...

推荐理由：Anthropic 正式发了 Claude Sonnet 5.5，是 5.5 家族的第二款模型。定位很明确：日常编码、修 bug、做文档这些边界清晰的任务。最抓人的点是 Terminal-Bench 从 10.3% 飙到 70.6%，速度快 30%，单价没变但实际任务成本降了 30%。我会先打个折——这个成本降幅的测算方式正文没展开，而且 Terminal-Bench 的测试环境是否贴近真实开发流程也没说。但整体信息量够、判断直接，是同一天必须写的模型更新。没给 95 是因为它更像是 Opus 5.5 的补充，不是独立扛旗的发布。

AI HOT 精选9/29 01:04

Claude Opus 5.5 (High) 在 Agent Arena 冲到第 2，中位成本降到 $1.31 一次任务

Claude Opus 5.5 (High) 在 Agent Arena 的净改进分是 +12.15%，排第 2，只输给 Fable 5.1 (Max)。中位价格每任务 $1.31，比上一代 Opus 5 (High) 便宜 40%，比 Opus 5 (Max) 便宜 56%——如果这个数据稳定，跑 agent 的成本确实降了一截。Steerabili...

推荐理由：Anthropic 的新模型在 Agent Arena 排第 2，同时价格砍了一截，是同一天就该写的产品信号。+12.15% 的净改进分和 $1.31 的中位成本给了硬数据，可控性提升是加分项。没打更高是因为这毕竟还是榜单成绩，正文没给真实场景的验证，我会先打个折。

9月24日星期四

Hacker News 首页9/24 17:19

Paper Office 发布：一套让 AI 智能体安全编辑 Word、PPT、Excel 的 Python 工具包

Paper Instruments 开源了 Paper Office，在 python-docx、python-pptx 和 OpenPyxl 的基础上加了安全校验和更完整的编辑能力。他们用 5 个模型跑了 61 项任务，Paper 工具包加上引导后通过率 92.5%，直接用上游库是 80.7%，用 Anthropic 的 Office skills ...

推荐理由：Paper Instruments 开源了一套给 agent 用的 Office 文件编辑工具包，在 python-docx、python-pptx 和 OpenPyxl 上面加了安全校验和更完整的编辑能力。他们拿 5 个模型跑了 61 项任务，Paper 工具包加上引导后通过率 92.5%，直接用上游库是 80.7%，Anthropic 的 Office skills 更低一些。这个 11.8 个百分点的差距说明封装层确实有用，不是单纯套壳。正文没披露任务具体是什么类型、失败案例集中在哪，也没说安全校验具体拦了什么，这点先别太激动。但对已经在用 ...

锐评

Paper Instruments 开源了一套叫 Paper Office 的工具包，本质上是把 python-docx、python-pptx 和 OpenPyxl 这三个老牌 Python 库给包了一层，加了安全校验和更完整的编辑能力。他们拿 5 个模型跑了 61 项任务，加上引导后通过率 92.5%，比直接用上游库的 80.7% 和用 Anthropic 同类技能的 69.5% 都高。更关键的一个数字是：模型被迫直接改底层 XML 的比例从 78.7% 降到了 1.6%，这说明工具确实拦住了很多容易搞坏文件的操作。

团队把问题说得很清楚：咨询、律所、银行这些地方不敢用 AI 改文档，是因为现有工具经常悄悄弄坏格式、断掉引用，或者改出来的东西根本没法给客户看。Paper Office 的解法是保留原来的 import 习惯，但在底层加了跨段落文本搜索、Word 原生的修订模式、评论线程和内容控件，遇到不安全操作直接拒绝，而不是默默把文件搞崩。

不过得打个折。61 项任务的测试规模不算大，而且正文没披露具体是哪 5 个模型、任务难度分布和失败案例的细节。通过率 92.5% 看着漂亮，但剩下那 7.5% 的失败在什么场景下发生，会不会恰好是律师改合同那种不能出错的任务，目前还不清楚。另外，这套工具对模型本身的代码生成能力依赖有多重，也没给出消融实验。

Hacker News 首页9/24 14:37

开源提示注入检测器几乎抓不到藏在工具输出里的真实攻击，Regex 检出率 0%，Meta Prompt Guard 2 只有 1%

这个基准测试把 629 条来自 AgentDojo 的注入攻击藏进搜索结果、邮件正文这类工具返回内容里，然后拿 Regex 和 Meta 的 Prompt Guard 2 去测。Regex 一条都没抓到，Prompt Guard 2 只抓到 1%。攻击不是直接发给模型的，而是混在模型调用的工具输出里，所以现有检测器基本是瞎的。代码和复现步骤都公开了，但...

推荐理由：这个基准测试把 629 条 AgentDojo 的注入攻击混进搜索结果、邮件正文这类工具返回内容里，然后拿 Regex 和 Meta 的 Prompt Guard 2 去测。Regex 一条都没抓到，Prompt Guard 2 只抓到 1%。攻击不是直接发给模型的，而是藏在模型调用的工具输出里，所以现有检测器基本是瞎的。代码和复现步骤都公开了，实用价值加分。但只测了两个检测器，没有横向对比更多方案，所以分数先停在 78。

锐评

这个基准测试把 629 条来自 AgentDojo 的注入攻击藏进搜索结果、邮件正文这类工具返回内容里，然后拿 Regex 和 Meta 的 Prompt Guard 2 去测。结果很惨：Regex 一条都没抓到，Prompt Guard 2 只抓到 1%。攻击不是直接发给模型的，而是混在模型调用的工具输出里，所以现有检测器基本是瞎的。

这点先别太激动。测试只跑了两个开源方案，正文没披露任何商业检测器的对比数据，也没说攻击样本的难度分布。代码和复现步骤都公开了，但 629 条样本量不算大，能不能代表真实攻击场景还不好说。

还缺什么：一是跟商业检测器的横向对比，二是攻击成功率背后的具体原因分析——是检测器根本没看工具输出，还是看了但认不出来。这两点不补上，这个 1% 的数字就只能当个警示，不能直接拿来评估生产环境的风险。

AI HOT 精选9/24 09:24

Claude Opus 5.5 在编程智能体评测里拿了第一，但跑一次任务要花 13 美元

Artificial Analysis 把 Claude Opus 5.5 放在 Claude Code 的“最大出力”模式下跑了一遍 Coding Agent Index，得分 66，比上一代 Opus 5 的 60 分高出 6 分。三项子测试全线上涨：Terminal-Bench 4.0 正确率 63.1%，DeepSWE v1.1 正确率 68....

推荐理由：Claude Opus 5.5 在 Artificial Analysis 的 Coding Agent Index 上拿了 66 分，比 Opus 5 高出 6 分，三项子测试全线上涨，登顶没问题。但单任务成本 13.04 美元是硬数字，比上一代贵了不少。这是独立第三方用 Claude Code 的“最大出力”模式实测的结果，数据具体、来源可信，对实际用的人有直接参考意义。没给更高分是因为这只是单一基准测试，不代表整体能力。

锐评

Claude Opus 5.5 在 Coding Agent Index 上拿了 66 分，比上一代高了 6 分，三项子测试全线上涨，说明模型在终端操作、软件工程问答这些实际编程任务上确实更强了。但代价也很直接：单任务成本从 3 美元跳到 13.04 美元，翻了四倍多。

这个成本飙升跟测试设置有关——Artificial Analysis 用的是 Claude Code 的“最大出力”模式，相当于让模型反复尝试、调用更多工具来冲高分。正文没披露具体跑了多少轮、消耗了多少 token，所以没法判断这 13 美元里有多少是模型本身贵了，多少是“多试几次”堆出来的。

还缺一个对比：如果不用最大出力模式，Opus 5.5 的得分和成本会落在哪。另外，63% 到 68% 的正确率意味着还有三成多的任务做不对，实际落地时能不能靠重试把成功率拉到可用线，正文也没提。

9月23日星期三

Latent Space9/23 14:41

Claude Opus 5.5 发布：写作质量大幅提升，成本降了 40%，直接成了 AINews 的默认模型

Anthropic 发了 Claude Opus 5.5，这是新 5.5 系列的第一个模型。官方说它在大多数任务上能追平之前的旗舰 Fable 5.1，但运行成本比 Opus 5 低了 40%，速度也快了约 30%。这次发布很少见地把写作改进放在了显眼位置：模型会把关键信息放在最前面，也更听你的风格指令，长对话读起来没那么累。Latent Space ...

推荐理由：Anthropic 发了新旗舰系列的第一个模型，声称性能持平 Fable 5.1 但便宜 40%，还把写作体验改进摆上台面——这对 Claude 重度用户是直接可操作的升级信号。没给 90 分以上是因为目前只有官方说法和 Latent Space 的初步观察，缺独立验证，先别太激动。

锐评

Anthropic 发了 Claude Opus 5.5，官方说性能追平之前的旗舰 Fable 5.1，运行成本比 Opus 5 低 40%，速度也快了约 30%。这次发布很少见地把写作改进放在了显眼位置：模型会把关键信息放最前面，也更听你的风格指令，长对话读起来没那么累。Latent Space 实测后直接把它设成了默认模型，说写作质量比 OpenAI 同天发的 Sol 6 好出一截。

但成本这块得打个折。Artificial Analysis 测出来，虽然单价降了，Opus 5.5 在复杂任务上吐的字数比 Opus 5 多了约 80%，所以单任务实际花费还是 6 美元左右，跟旧款差不多。另外系统卡里首次披露了最多 100 个并行 agent 的多智能体扩展实验，但正文没给出具体任务和成功率，只能算个方向信号。

还缺什么：写作改进目前只有定性评价，没有对照实验或用户偏好数据；多 agent 实验的可靠性、通信开销都没展开。如果是真的省钱又写得更好，那确实值得切过去，但成本这块先别太激动。

Computing Life · Share · 鸭哥调研9/23 08:00

同一个工具开关，一个模型赚了，一个崩了：编程智能体外层设计的关键决策

一项新研究把编程智能体的外层控制软件拆成了任务规划、上下文管理和动作接口三个独立开关，挨个测试。最扎眼的结果是：把预设的文件读写工具全撤掉、换成纯命令行后，Nemotron-3 550B 在代码修复任务上的成功率涨了 3.6 个百分点，单任务估算成本从 2.33 美元砍到 1.11 美元；但 Mistral-Medium-3.5-128B 的成功率却从...

推荐理由：这篇论文做了一个很干净的对照实验：把智能体的外层控制软件拆成任务规划、上下文管理和动作接口三个开关，单独拧动看效果。最反直觉的发现是，把预设的文件读写工具全撤掉、换成纯命令行后，Nemotron-3 550B 在代码修复任务上成功率涨了 3.6 个百分点，单任务成本从 2.33 美元砍到 1.11 美元；但 Mistral-Medium-3.5-128B 的成功率却直接掉了一截。这种同一开关、两个模型走向完全相反的结果，比单纯刷榜有信息量得多。正文没披露实验的统计显著性检验，这点先别太激动，但成本数字和成功率变化幅度已经足够让做工程的人重新审视自己...

锐评

这篇论文把编程智能体的外层控制软件拆成规划、上下文管理和动作接口三个独立开关，挨个测了一遍。最反直觉的发现是：把预设的文件读写工具全撤掉、换成纯命令行后，Nemotron-3 550B 在代码修复任务上成功率涨了 3.6 个百分点，单任务估算成本从 2.33 美元砍到 1.11 美元；但 Mistral-Medium-3.5-128B 的成功率却从 68.60% 跌到 45.40%。轨迹分析显示，550B 能自己把查找、匹配、替换编成紧凑的 shell 单行命令，编辑效率反而更高；Mistral 没了专用工具后，32.80% 的任务直接找不到文件就退出了。

任务规划这个开关也很有意思。对 30B 的小模型，开规划是救命绳，成功率从 13.60% 跳到 25.20%；但对 550B 和 Mistral 这种大模型，开规划没提分，主要作用是省钱——550B 成本降了约 30%，因为规划管住了它做完改动后没完没了复核的毛病。上下文管理在 128k 窗口下收益已经很小，成功率差距只剩 2.7 个百分点，那些复杂的读回机制几乎没被调用过。

研究覆盖了 176 种实验配置，但正文没披露所有模型在 Terminal-Bench 上的统计显著性检验细节，89 题的样本量让那几项提升还站不太稳。另外，纯命令行模式其实不是真的只剩终端指令，规划开启时仍保留了计划更新和历史读回工具，这点在对比时要留意。

AI HOT 精选9/23 03:29

Arena 开始测 GPT-6 Sol 和 Luna 了，分数还没出，但你可以上手跑真实任务

Arena 放出了 OpenAI 两个新模型 GPT-6 Sol 和 GPT-6 Luna 的测试入口，目前还没公布评分。你可以直接去 Arena 让它们跑真实的智能体任务，然后投票，结果会进排行榜。正文没提模型规模、发布时间和定价，所以这些先别猜。

推荐理由：GPT-6 首次公开出现，两个变体在 Arena 上跑智能体任务，悬念和信号都很强。扣分是因为正文没提模型规模、发布时间和定价，目前只是一个测试入口，信息偏薄，所以分数我会先打个折。

AI HOT 精选9/23 02:00

OpenAI 发布 GPT-6 Sol 和 Luna，API 价格比 GPT-5.6 直接砍半

OpenAI 在 GPT-6 系列里加了两个更省钱的模型：Sol 和 Luna。API 价格全部对折，Sol 输入/输出每百万 token 收 2/10 美元，Luna 只要 0.10/0.50 美元。Sol 在 AutomationBench 上开足马力拿到 33.2% 的分数，但每次任务成本只有 Claude Opus 5 的 9%；在 Agent...

推荐理由：OpenAI 官方发新模型，API 价格砍半，Sol 在 agent 基准上的成本只有竞品 9%，对整个行业的成本结构冲击很大。H、K、R 全中，定价和基准数据都给了。扣 3 分是因为正文没把 Sol 和 Luna 的能力差距说透，只知道 Sol 更强但贵，Luna 更省但弱，具体弱在哪没展开。

锐评

OpenAI 这次发布的 Sol 和 Luna，核心就一件事：把 GPT-6 Astra 的能力往下放，同时把价格打下来。API 输入输出价格全部砍半，Sol 每百万 token 收 2/10 美元，Luna 只要 0.10/0.50 美元。这个降价幅度是实打实的，官方说是因为缓存和推理优化省下来的成本直接让利了。

性能上，Sol 在 AutomationBench 上开足马力拿了 33.2%，虽然绝对分数不高，但每次任务成本只有 Claude Opus 5 的 9%，性价比确实突出。在 Agents' Last Exam 上，Sol 最高能到 56.4%，成本比对手低 60%。Luna 在 high effort 档比上一代涨了 5.4 个百分点，同时成本降了 58%。内部事实性评测里，Sol 的出错率大概是前代的一半。

不过这篇公告没给具体发布日期，只说“现在可用”。也没提模型参数量、上下文窗口上限、推理延迟这些硬指标。所有数据都来自 OpenAI 自己选的基准，跟其他家的横向对比有限。Sol 在 AutomationBench 上 33.2% 的分数说明它离“可靠地自动完成复杂业务流程”还有距离，更适合当成本敏感场景下的备选方案，而不是 Astra 的平替。

AI HOT 精选9/23 01:48

Claude Opus 5.5 进了 Arena 的 Agent 擂台，能联网、操作文件、跑终端，排名靠用户投票

Arena 把 Claude Opus 5.5 放上了 Agent Arena，让模型直接干长链条的活——可以自己上网搜资料、读写文件、敲命令行。排行榜不只看输赢，用的是因果追踪，看它比平均水平强多少。正文没具体说 Battle Mode 怎么打，也没给任务例子，所以实际有多能打还得等实测。

推荐理由：Opus 5.5 上 Agent Arena 是本周最值得盯的第三方评测信号。因果追踪的排行榜设计比原始胜率多一层信息，但正文没给具体任务例子，也没说 Battle Mode 规则，实际能打程度还得等社区跑完再看——这点先别太激动。

锐评

Arena 把 Claude Opus 5.5 放上 Agent Arena，让模型直接跑长链条任务——可以自己上网搜资料、读写文件、敲命令行，不再是只回一段话的聊天机器人。排行榜不只看输赢，用的是因果追踪，衡量它比平均水平强多少，这比单纯比胜率更靠谱一点。

但正文没披露 Battle Mode 具体怎么打，也没给任何任务例子。用户提交的“数百万真实长程任务”到底长什么样、难度分布如何，全都不清楚。没有这些，光看排名容易高估或低估模型的实际能力。另外，Opus 5.5 本身的基础能力、推理成本、延迟这些关键信息也没提，想评估性价比的人暂时无从下手。

我会先打个折：等有人跑出具体任务案例、尤其是涉及多步工具调用和错误恢复的场景，再判断它是不是真能进生产流程干活。

AI HOT 精选9/23 01:41

Claude Opus 5.5 在智能评测中拿了最高分 58，还降了 20% 的价格

Claude Opus 5.5 在 Artificial Analysis 的智能指数上得了 58 分，是目前测过的最高分。它在 10 项评测里 6 项领先，比如在 Humanity's Last Exam 上正确率 61.4%，SciCode 上 66.9%，Terminal-Bench 4.0 上 59.6%，跟 GPT-6 Astra 打平。在模...

推荐理由：Anthropic 的旗舰模型在一个有分量的第三方基准上拿了第一，同时降价 20%，属于当天必写。没给 95 分是因为这毕竟只是基准测试结果，不是模型发布本身，但 6/10 项领先、跟 GPT-6 Astra 打平、价格还降了，放在 featured 档很合适。

9月22日星期二

AI HOT 精选9/22 10:02

卡兹克实测 Grok 4.7 与小米 MiMo V2.6：后者成了“不可能三角”的答案

文章标题说卡兹克对比了 Grok 4.7 和小米 MiMo V2.6，结论是 MiMo V2.6 解决了“不可能三角”（通常指模型在成本、速度、质量上难以兼得）。但正文被微信屏蔽，只显示环境异常和验证页面，没有披露任何模型参数、测试方法或具体结果。所以这条信息目前只有结论，没有证据支撑。

AI HOT 精选9/22 05:08

小米 MiMo-V2.6-Pro 在 Code Arena WebDev 排到第10名左右，开源模型里排第3

小米发了两个全模态模型 MiMo-V2.6-Pro 和 Flash。Pro 版在 Code Arena 的网页开发榜上拿了 1628 分，比上一代 MiMo-V2.5-Pro 的 1475 分涨了 153 分，整体排第10名上下，在 MIT 许可的开源权重模型里大概排第3。Flash 版的跑分和参数量正文都没提。

推荐理由：小米 MiMo-V2.6-Pro 在 Code Arena WebDev 榜上排第10名上下，开源权重模型里约第3，分数比上代涨了 153 分，有具体数字支撑。Flash 版参数量和跑分正文都没提，信息有缺口，所以重要性给到 78 比较合适，先别往更高拔。

锐评

小米发了两个全模态模型，Pro版在Code Arena的网页开发专项上拿了1628分，比上一代涨了153分，整体排第10左右，在MIT许可的开源权重模型里大概第3。这个成绩说明它在写网页代码这个细分任务上确实能打，尤其对想自己部署、不想被商业许可绑住的开发者来说，多了一个可选项。

但正文没提Flash版的任何跑分和参数量，也没说Pro版参数量多大、推理成本多高。光看一个榜的分数，没法判断它是不是在别的任务上偏科，也不知道实际跑起来吃多少资源。另外，Code Arena的WebDev榜本身样本量和评测方式，正文也没交代，分数涨了153分到底是因为模型真变聪明了，还是评测有波动，得看后续有没有更完整的对比。

AI HOT 精选9/22 05:03

小米 MiMo-V2.6-Pro 在开放权重模型智能指数里排到第一，得分从 26 跳到 46

小米放出了 MiMo-V2.6-Pro，在 Artificial Analysis 的智能指数上拿了 46 分，比上一代 V2.5-Pro 的 26 分涨了不少，现在是开放权重模型里最高的。不过正文没提参数量、具体架构和什么时候能公开用，这些关键信息都还缺着，所以这个分数先别太激动。

推荐理由：小米的 MiMo-V2.6-Pro 在开放权重模型智能指数上登顶，分数从 26 涨到 46，进步明显，属于国产旗舰模型的正面信号。但正文没给参数量、架构和发布时间，关键信息缺着，所以分数先打个折。

AI HOT 精选9/22 01:06

马斯克称 Grok 4.7 在智能体编码上排第三

马斯克引用 Artificial Analysis 的评测说，Grok 4.7 让 xAI 在智能体编码能力上排到第三，仅次于 Anthropic 和 OpenAI。但正文没披露具体评测指标、分数或版本对比，只有排名和对手。这个排名如果是真的，说明 Grok 在让模型自主写代码、调工具这类任务上进步明显，但缺少数据支撑，建议先观望。

9月20日星期日

Hacker News 首页9/20 23:59

提示词没那么重要，不如搭一套评估流水线来管住模型

Dan McKinley 在演讲里说，整天跟大模型来回改提示词是条死胡同。他做面向消费者的 agent 时发现，哪怕用了结构化输出，模型还是会在一小部分请求里发疯，比如把标题字段塞满废话直到爆掉。他试出来的一个离谱解法是把字段名从“title”改成“heading”，暂时管用，但随时可能失效。他的核心观点是，提示词本身靠不住，得靠 pass^k 测试和...

推荐理由：Dan McKinley 拿自己搭消费者 agent 的实战经验说话，案例具体、判断尖锐。但这是个人演讲，不是正式论文，正文也没披露 pass^k 测试的通过率和规模，所以我会先打个折。

锐评

Dan McKinley 这个演讲的核心判断很直白：别跟提示词死磕了，那是个死胡同。他做面向消费者的 agent 时发现，哪怕用了结构化输出，模型还是会在一小部分请求里彻底翻车，比如把标题字段塞满废话直到爆掉。他试出来的一个离谱解法是把字段名从“title”改成“heading”，暂时管用，但随时可能失效。这说明模型根本不理解你的指令，只是在统计上蒙答案。

他的主张是用 pass^k 测试和评估管线来约束模型行为，而不是靠改提示词去“驯服”它。但演讲本身是幻灯片，没给出具体的评估框架或指标，也没披露他用的模型、请求量和失败率的具体数字。所以这个思路方向对，但落地细节全是空白。

还缺什么：他说的评估管线到底怎么搭、成本多高、延迟多大，正文都没提。另外，改字段名这种“玄学”解法能撑多久，也没有任何量化结论。

Hacker News 首页9/20 08:00

iPhone 18 Pro 相机评测：DXOMARK 172 分，全球第二

DXOMARK 给 iPhone 18 Pro 相机打了 172 分，排全球第二。最大亮点是可调光圈（f/1.48–f/4.0），复杂场景下也能保持画面锐度。自动对焦稳定，眩光比上一代控制得好，但光圈收小时仍可能出现绿斑。主摄 48MP，超广角 48MP 120°，长焦 48MP 8 倍光学变焦。

9月19日星期六

Hacker News 首页9/19 22:44

19 个模型打《星际争霸》，没有一个超过新手水平

Ben Swerdlow 让 19 个模型在《星际争霸：母巢之战》里互相对打，结果没有哪个模型能玩到新手以上的水平。Codex Astra 的 xhigh 版本以 18 胜 0 负排第一，但它靠的不是运营，而是早期派一个探机去骚扰对手工人，对面模型会花几十秒思考怎么处理，直接瘫痪。Grok 4.6 表现最差，xhigh 版本在 43 分钟里只发出了 6...

推荐理由：Ben Swerdlow 搞了个《母巢之战》模型对战测试，19 个模型互打，没一个能赢新手。Codex Astra 的 xhigh 版 18 胜 0 负排第一，但赢法不是靠运营，而是早期派一个探机去骚扰农民，对面模型会花几十秒想对策，直接卡死。Grok 4.6 最拉胯，xhigh 版 43 分钟里只发出 6 个有效动作。这个测试把模型在实时环境里的反应延迟和决策瘫痪暴露得很直观，数据也扎实，胜率、APM、单局成本都有。我会先打个折，因为这只是一个人做的非正式 benchmark，样本量和环境控制有限，但信号很强，值得从业者看一眼。

锐评

Ben Swerdlow 搞了个挺有意思的实测，让19个模型在《星际争霸：母巢之战》里互打，结果没一个能玩到新手以上水平。Codex Astra 的 xhigh 版本以18胜0负排第一，但它赢的方式不是靠运营，而是靠“使坏”——早期派一个探机去骚扰对方工人。对面模型会花几十秒思考怎么处理这个探机，整个经济直接瘫痪。这暴露了一个问题：模型在需要持续、实时反应的场景里，很容易陷入“过度思考”的坑，把即时战略玩成了回合制。

Grok 4.6 的表现最差，xhigh 版本在43分钟里只发出了6批指令，一个战斗单位都没造出来，推理 token 却烧了1万多个。Claude Fable 倒是很认真地在攀科技树，但执行跟不上想法。Codex 系列还有个通病，它会把经济、产兵、控兵拆成几个子代理，互相不沟通，结果就是造一个兵送一个兵，典型的初学者错误。

这个测试的参考价值要打个折。正文没披露比赛是纯模型对打还是有人类介入，也没说地图池和种族分配。另外，APM（每分钟操作数）和每局成本都列出来了，但没解释这些数字跟胜负的关联有多强。如果是真的纯靠模型自己玩，那说明现在的模型离能打即时战略还差得远，但 Codex 靠骚扰就能赢，也说明对手的“抗干扰”能力太弱了。

TechCrunch · AI9/19 21:00

a16z 投了一家想做 AI 评测裁判的公司 Vals，但还没公布具体怎么评

Vals 拿了 a16z 的投资，想当 AI 模型评测的“中立第三方”。现在各家模型厂商都自己出分，Vals 想站出来当那个大家信得过的裁判。不过正文没披露它的评测方法、技术细节和早期客户，所以它到底怎么保证中立、怎么避免自己也变成另一个刷分工具，目前还看不出来。

9月17日星期四

r/LocalLLaMA9/17 20:06

AI 智能体能不能像真人一样过一天？Qwen3.8-27b 跑了个测试，成功率 56.7%

Reddit 上有人发了个新测试集叫 AndroidLife，专门看 AI 智能体能不能完成一个真实用户一天里会做的各种任务。目前只放了一个结果：Qwen3.8-27b 跑下来成功率 56.7%，刚过一半。正文被 Reddit 屏蔽了，所以具体测了哪些任务、怎么算成功、有没有对比其他模型，一概没披露。这个数字本身不算惊艳，但方向有意思——以前测智能体多...

Hacker News 首页9/17 06:10

编程助手的“外壳”可能让你多花一倍的钱，准确率却没变

UC Berkeley 和 Arena 的研究人员把 7 个模型装进 3 种不同的编程助手外壳（Claude Code、Codex CLI 和 Pi），在 SWE-bench Lite 和 Terminal-Bench 2.0 上各跑了 30 个任务，每个组合重复 3 次。结果发现，换外壳对任务成功率影响很小（±2–5%），但成本最多能差到 5 倍。比...

推荐理由：UC Berkeley和Arena的人做了件挺实在的事：把7个模型塞进3种不同的编程助手外壳里跑分，结果发现换壳对能不能完成任务影响很小，但花的钱最多能差5倍。这个结论对天天在终端里切工具的开发者来说很实用，而且实验设计干净、数字具体，没有吹牛成分。分数定在78，因为正文摘要没展开讲成本差异具体从哪来、不同外壳的失败模式有什么不同，信息有缺口，先不打更高。

锐评

这篇研究给了一个很实际的结论：模型本身才是决定编程任务成败的主角，外面那层助手软件（他们叫harness）更像是个成本开关。UC Berkeley和Arena的团队把7个模型塞进Claude Code、Codex CLI和Pi三种外壳里，在SWE-bench Lite和Terminal-Bench 2.0上各跑30个任务，每个组合重复3次。结果发现，换外壳对成功率的平均影响只有±2%到±5%，但花的钱能差出5倍。

最亮眼的是他们自己做的Pi，一个只保留读、写、编辑、执行命令的最简开源外壳。Claude Fable 5用Pi跑出96.7%的成功率，成本0.67美元；用Claude Code跑是97.8%，成本1.33美元。多花近一倍的钱，成功率只提了1.1个百分点。Pi在两张图上都摸到了性价比最优边界。

不过正文没披露Pi和Codex CLI的具体开源协议，也没给出完整的定价表链接。实验只跑了30个任务，样本量不大，结论能不能推广到更复杂的真实项目还不好说。另外，他们禁用了网络访问和网页工具，这在实际开发里不太现实，可能会压低某些外壳的优势。

Hacker News 首页9/17 02:50

训练一个 4B 模型，让它生成的查询计划比 Postgres 默认的快 81%

Rohan Bansal 拿 Qwen 4B 模型做实验，先让 GPT-6 Astra 当老师，用 500 条示范轨迹做监督微调，再设计了一套强化学习变体，让模型自己生成查询计划、扔到 Postgres 里实测耗时，根据快慢给奖励信号来更新权重。在 113 条多表联查的 SQL 上，最终模型生成的计划比 Postgres 默认计划延迟降低 44.7%，...

推荐理由：一个 4B 小模型，靠强化学习训出来的查询计划比 Postgres 默认计划快 81%，方法本身有实用价值。但测试只跑了 113 条多表联查 SQL，能不能泛化到其他场景还没验证，所以分数卡在 78。

锐评

Rohan Bansal 拿 Qwen 4B 做了一次挺有意思的尝试：先让 GPT-6 Astra 当老师，用 500 条示范轨迹做监督微调，再设计了一套强化学习变体，让模型自己生成查询计划、扔到 Postgres 里实测耗时，根据快慢给奖励信号来更新权重。在 113 条多表联查的 SQL 上，最终模型生成的计划比 Postgres 默认计划延迟降低 44.7%，几何平均加速 81%。训练用了一台租来的双 H100 节点，测量靠他桌上四台跑 Postgres 的容器。

这个结果看着漂亮，但得打几个折。首先测试集只有 113 条查询，全是多表联查，覆盖面窄，不知道在更杂乱的业务 SQL 上表现如何。其次正文没披露模型生成一次计划要花多长时间——如果推理延迟比执行节省的时间还长，那实际收益就大打折扣。另外也没说总训练时长和稳定性，强化学习在这种噪声环境里容易跑偏。

还缺什么：跟其他学习型优化器的对比、更大规模查询的验证、以及推理成本与延迟的完整数据。如果这些能补上，小模型替代传统优化器这条路才真的值得跟。

9月16日星期三

AI HOT 精选9/16 05:20

Arena 更新图片转网页排行榜：GPT-6 Astra 1733 分登顶，领先第二名 129 分

Arena 把四个新模型丢进了图片转网页的评测榜单。GPT-6 Astra（Max）拿了 1733 分排第一，比第二名的 GPT-5.6 Sol（xHigh）高出 129 分。Claude Fable 5.1（Max）1710 分排第三，Muse Spark 1.3（Max）1645 分第四，GLM-5.3-Flash 1588 分第十。正文没披露具体...

推荐理由：GPT-6 Astra 首秀就登顶，领先幅度 129 分，这个信号够硬，值得上首页。但正文只给了分数和排名，没展开方法细节或模型差异，读起来像一条快讯。H 和 K 都踩中了，R 缺位，整体重要性我给 72 分，放在 featured 里刚好。

锐评

Arena 把四个新模型丢进了图片转网页的评测，GPT-6 Astra（Max）1733 分登顶，比第二名的 GPT-5.6 Sol（xHigh）高出 129 分。这个差距看着不小，但正文没披露具体测了什么任务、用了多少样本，所以分数的含金量要打个折。Claude Fable 5.1（Max）1710 分排第三，和 Sol 咬得很紧，Muse Spark 1.3（Max）1645 分第四，GLM-5.3-Flash 1588 分第十。

这个榜单测的是模型看图写网页代码的能力，对前端开发场景有参考价值，但 Arena 没说明评测维度——是只看还原度，还是也考虑代码质量、响应速度？也没交代图片类型和难度分布。如果样本量小或者任务偏简单，129 分的领先可能没那么大意义。另外，不同模型的 Max 和 xHigh 推理档位不一样，算力投入不同，直接比分数不太公平。

还缺的信息：评测集是否公开、有没有人工评估、各模型在复杂布局和交互逻辑上的表现差异。这些不补上，榜单就只能当个粗略参考。

Latent Space9/16 04:11

在游戏里学到的技能，能用到真实工作中吗？

Good Start Labs 拿一款 30B 参数的模型在铁路经营游戏《1830》里训练，然后让它去做金融研究任务——查数据库、写 Excel 公式、边推理边算。结果发现，只有做成多轮终端智能体（让模型自己用工具探索环境、实时调整策略）的版本，技能才迁移得过去；单轮问答式的训练就没这个效果。这家公司去年 10 月从 Every 分拆出来，拿了 360...

推荐理由：实验设计有新意，给出了技能迁移的正面证据和一个失败对照组，对 agent 训练研究有参考价值。但公司刚分拆出来，产品路径不明，金融任务上也没给具体数字，所以我会先打个折，重要性给到 72。

锐评

Good Start Labs 拿一款 30B 参数的模型在铁路经营游戏《1830》里训练，然后让它去做金融研究——查数据库、写 Excel 公式、边推理边算。结果发现，技能能不能迁移，全看训练方式：只有把模型做成多轮终端智能体，让它自己用工具探索环境、实时调整策略，金融任务表现才提升；单轮问答式的训练就没这个效果。

这个结论挺有意思，但正文没披露具体提升幅度和测试集规模，也没说金融任务本身有多难。公司去年 10 月从 Every 分拆出来，拿了 360 万美元融资，赌的是用游戏这种可验证环境做强化学习来教模型技能。思路说得通，但现阶段只有定性结论，缺量化对比和更多任务验证。

还缺一个关键信息：游戏里学会的策略，到底是真迁移了，还是只是让模型更适应多轮工具调用这个形式？这点先别太激动。

Hacker News 首页9/16 03:07

RL 训练大模型有个马太效应：难题越练越少，这篇博客提出“永不放弃”来纠正它

Michael Noukhovitch 写了篇博客介绍他新论文里的发现：用强化学习（RL）做模型后训练时，会出现马太效应——训练越往后，模型越爱挑简单题做，难题被采样的次数越来越少，因为早期在简单题上拿到的奖励把训练方向带偏了。他提出的修正方法叫 Never Give Up（NGU），核心是给难题设一个最低采样比例，不让它们被挤掉。在 Olmo 3.1...

推荐理由：Michael Noukhovitch 把自家论文写成了博客，讲的是 RL 后训练里一个隐蔽的退化现象：模型会越来越爱做简单题，难题采样率一路下滑，因为早期简单题的奖励把训练方向带偏了。他管这个叫马太效应，提出的修正方案 NGU 就是给难题设最低采样比例，强制保留训练信号。正文没披露 NGU 在 Olmo 3.1 之外更多模型上的验证结果，这点先别太激动，但思路本身对正在跑 RL 流程的团队有直接参考价值。

锐评

Michael Noukhovitch 这篇博客讲的是强化学习后训练里的一个老毛病：模型越训越爱挑软柿子捏。他发现训练后期，简单题因为早期奖励高，被反复采样，难题的采样次数越来越少，他把这叫做马太效应。他提出的修正方法叫 Never Give Up（NGU），说白了就是给难题设一个最低采样比例，强制模型不能放弃它们。在 Olmo 3.1 7B 的数学训练上，AIME 2025 的 pass@1 从 26.7% 提到了 33.3%；代码任务 LiveCodeBench 从 23.4% 提到了 26.1%。数字看着不错，但正文没披露 NGU 的具体超参数和额外算力开销，所以这些收益得打个折看。另外，他把马太效应归为一种“首因偏差”，这个类比挺直观，但论证还比较浅。如果后续能补上成本数据和更大规模的验证，这个方法的实用性会更清楚。

9月10日星期四

AI 群聊日报9/10 13:15

Astra 产能告急可能暂停新订阅，DeepSeek V4.1 Flash 评测逼近 Astra 但成本仅 1.4%，Codex 额度显示 bug 引发恐慌

OpenAI 的 Tibo 公开承认 Astra 需求前所未有，可能暂停新 Pro 订阅，群友反映谷时段也卡顿、WebSocket 频繁断连。DeepSeek V4.1 Flash 在 OpenDesign 的设计任务评测中拿到 81.2 分，达到 Astra 的 98%，但成本只有 Astra 的 1.4%。不过群友扒出 DeepSeek API 强...

9月7日星期一

Computing Life · Share · 鸭哥调研9/7 08:00

AI 把作业下限抬高了，但评分标准还在惩罚想得更深的人

两场千人级实验揭开了同一个真相。土耳其高中数学课上，用 ChatGPT 做练习的学生成绩暴涨 48%，但一关屏幕独立考试，分数反而比没用 AI 的对照组低了 17%。屏幕亮着时的漂亮卷面，只是向外部算力借来的下限，一断网就清零。米兰商学院的营销写作实验更微妙：用了 AI 的学生，作业得分在 5 分制上高出近 1 分，表达逼近专家水平。但实验同时发现，那...

推荐理由：两场千人级随机对照实验给出了硬数字，把 AI 辅助学习的幻觉拆得很清楚：练习分数虚高，闭卷考试反而倒退，学生跳过推理直接抄答案。HKR 三项都强，但文章是综述性质，不是一手研究发布，所以分数压在 85 以下。

锐评

这两场实验把AI对学习的影响拆得很清楚，核心就一句话：AI能轻松把作业下限拉到体面水平，但上限能不能涨，全看评分标准怎么定。土耳其数学课里，用ChatGPT做练习的学生成绩暴涨48%，但一关屏幕独立考试，分数反而比没用AI的对照组低了17%。后台日志显示，学生根本没看推导，直接抄答案。屏幕亮着时的漂亮卷面，只是向外部算力借来的下限，一断网就清零。米兰商学院的营销写作实验更微妙。用了AI的学生，作业得分在5分制上高出近1分，表达逼近专家水平。但实验同时发现，那些在方案里认真写明失效条件和因果机制的学生，反而被评分表系统性扣了分。评分表只认套路完整、点子数量多，对追问边界的深入思考并不买账。AI没有抹平想法的多样性，是那张早已成型的传统评分表在惩罚认知上限。目前最扎实的正向证据，来自用AI辅助人类老师，而非直接塞给学生。这两项研究都指向同一个结论：评价什么，就训练什么。如果评分标准不改，再强的工具也只会催生更廉价的套路。

9月6日星期日

AI HOT 精选9/6 05:31

OpenAI GPT-6 Astra 在 Code Arena WebDev 榜单拿第一，比第二名 Claude Fable 5.1 高出 35 分

GPT-6 Astra（Max 版本）在 Code Arena 的网页开发专项榜上跑出 1797 分，排第一。第二名 Claude Fable 5.1（Max）是 1762 分，第三名 Claude Opus 5（Max）1688 分。这条信息只来自一条推文，正文没披露测试样本量、具体任务类型和响应延迟，所以这个领先幅度先别太当真，等有更多细节再判断。

推荐理由：GPT-6 在 Code Arena 网页开发专项上首次超过 Claude，35 分的差距值得聊一聊。但消息只来自一条推文，没给测试样本量、具体任务和响应延迟，分数先打个折，等更多信息出来再调整。

锐评

OpenAI 的 GPT-6 Astra（Max 版本）在 Code Arena 的网页开发专项榜上拿了 1797 分，比第二名 Claude Fable 5.1 高出 35 分，第三名 Claude Opus 5 是 1688 分。单看分数差距不算大，但 Astra 确实排到了第一。

问题在于这条信息只来自一条推文，正文没披露测试用了多少样本、具体是哪些类型的网页开发任务，也没提响应延迟。Code Arena 这类榜单的排名很容易受样本选择和评分标准影响，35 分的领先在不知道方差的情况下说明不了太多。如果是真的，说明 Astra 在写前端代码这块有进步，但别急着下结论。

还缺的东西挺多：测试集大小、任务难度分布、有没有重复跑多次取平均、和其他模型在非 Max 版本的对比。等有更完整的报告再判断这个领先到底值不值。

9月4日星期五

AI HOT 精选9/4 03:42

GPT-6 Astra 在 ARC-AGI-3 上标准跑分 66%，靠持续对话硬拉到接近满分，但每道题烧掉 360 美元

François Chollet 放出了 GPT-6 Astra 在 ARC-AGI-3 上的成绩。用标准测试流程只拿到 66%，但换成持续对话模式，加上自定义的上下文压缩，分数直接逼近 100%。这个接近满分的表现不是模型自己一次答出来的，而是靠多轮对话和额外处理堆上去的，所以别把它当成模型已经具备通用推理能力。每道题的成本大约 360 美元，正文没...

推荐理由：Chollet 自己公布了 GPT-6 Astra 在 ARC-AGI-3 上的成绩：标准流程只拿 66%，换成持续对话加自定义上下文压缩才逼近满分，每道题烧掉约 360 美元。我会先打个折——这不是模型自己一次答对的，是反复对话和额外处理堆出来的，别直接当成通用推理能力。但分数反差和成本摆在那，做推理评估的人不看说不过去。

AI HOT 精选9/4 03:31

GPT-6 Astra 编码智能体跑分追平 Fable 5，但价格涨到 2.5 倍

Artificial Analysis 用自家 Coding Agent Index 测了 GPT-6 Astra，得分 67，跟 Claude Opus 5 和 Fable 5 打平。成本比 Fable 5 便宜一半以上，但跟 GPT-5.6 Sol（max）比贵了约 2.5 倍。token 效率比 GPT-5.6 Sol 高出约 70%，说明同样任...

推荐理由：Artificial Analysis 的 Coding Agent Index 是独立第三方评测，GPT-6 Astra 拿了 67 分，跟 Claude Opus 5 和 Fable 5 打平。token 效率比 GPT-5.6 Sol 高出约 70%，说明同样任务消耗更少 token，但单价涨了约 2.5 倍，实际花销反而更高。比 Fable 5 便宜一半以上这点挺实在，但正文没披露具体价格数字，只能看相对比例。我会先打个折：这是第三方跑分，不是官方数据，实际业务里表现可能有出入。不过价格和效率的反差确实让选型的人得重新算账，所以给了 fea...

锐评

Artificial Analysis 用自家 Coding Agent Index 测了 GPT-6 Astra，得分 67，跟 Claude Opus 5 和 Fable 5 打平。成本比 Fable 5 便宜一半以上，但跟 GPT-5.6 Sol（max）比贵了约 2.5 倍。token 效率比 GPT-5.6 Sol 高出约 70%，说明同样任务消耗的 token 更少，能省点钱。

不过正文没披露延迟和任务完成率，这两个指标对智能体实际体验影响很大。得分打平不代表用起来一样顺，可能响应慢或者中途掉链子。另外，评测用的是 Artificial Analysis 自家的基准，不是行业通用的 SWE-bench，横向对比其他模型时要打个折。

还缺一个关键信息：GPT-6 Astra 在复杂多步骤任务上的稳定性怎么样。单看分数和成本，它像是 OpenAI 在编码智能体上的一次追赶，但价格涨这么多，得看实际部署后能不能稳定跑通业务流程。

9月3日星期四

AI HOT 精选9/3 09:10

Meta Muse Spark 1.3 在编码智能体评测里跟 Claude 组合打了个平手，都是 68 分

Artificial Analysis 的编码智能体指数把 Meta Muse Spark 1.3（max 配置，跑在 Muse Code 上）和 Claude Code + Opus 5（xhigh 配置）都标了 68 分，并列第一梯队。帖子只给了分数，没拆具体任务、延迟和成本，所以这个平手先别太当真——等详细数据出来再看值不值得切模型。

AI HOT 精选9/3 04:37

Meta 五个月发四个版本，Muse Spark 1.3 科学推理和智能体能力有提升

Meta 发布了 Muse Spark 1.3，这是五个月内的第四个版本，迭代速度很快。xhigh 变体在 Artificial Analysis 的智能指数上得了 61 分，主要提升在科学推理和智能体能力上。但正文没披露具体改进了什么、怎么训练的，所以这点先别太激动——分数本身不说明绝对水平，得看跟谁比、怎么测的。

9月2日星期三

Hacker News 首页9/2 21:49

Perplexity 三分之一的引用链接里，根本没有它声称的那个数字

Haus Research 用 310 个关于科技公司的具体问题去测 Perplexity 的两个搜索模型，然后逐个点开它给的引用链接核对。结果发现，在 1826 个带数字的句子后面附上的引用里，有 34.7% 的链接要么打不开，要么打开的页面里压根找不到那句话里的任何一个数字。如果按“只要有一个引用能对上就算过”的宽松标准，也有 14.4% 的说法找...

推荐理由：Haus Research 用 310 个科技公司问题测了 Perplexity 两个搜索模型，手动点开 1826 条带数字的引用链接核对，发现 34.7% 的链接要么失效要么页面里根本没有那个数字。方法交代得清楚，样本量也够，不是随便黑一下。我会先打个折——宽松标准下 14.4% 的说法找不到任何支撑链接，这个数字更贴近实际使用感受，但依然说明引用质量有硬伤。正文没披露测试时用的具体模型版本和日期，这点信息缺口让结论的时效性打了点折扣。

锐评

这个锅主要不是死链的，死链只占 1.3%。更大的问题是两个：一是 16.1% 的链接藏在付费墙或登录页后面，普通读者根本点不开，这等于给了个无法验证的出处；二是能打开的页面里，有 16.1% 完全不包含它声称引用的那个数字。比如问 Vercel 最便宜的付费套餐多少钱，模型回答每月 20 美元，引用的却是 Vercel 官方定价页，而那个页面上根本没有“20”这个数。

报告还揪出了一批 SEO 垃圾页面，域名像 komo.ai、temperstack.com 这种，按查询模板批量生成公司信息页，用完就删，模型却把它们当信源。正文没披露 Perplexity 方面的回应。这点先别太激动，测试只覆盖了科技公司的事实类问题，其他领域的引用质量还不清楚。

Hacker News 首页9/2 18:02

Multiverse Computing 发布 Quasar 438B，在欧洲模型里综合得分最高

Multiverse Computing 推出了他们的第一个大模型 Quasar 438B，一个面向企业级智能体和编程的推理模型，支持英语和西班牙语。在 Artificial Analysis 的智力指数上，它拿了 43 分，是目前欧洲模型里的最高分，比 Mistral Medium 3.5 的 30 分和 NVIDIA Nemotron 3 Ultr...

推荐理由：欧洲第一个 438B 推理模型，有具体跑分和对手对比，信号够强。但来源是厂商自述，还没看到独立评测，所以分数卡在 featured 门槛上。

锐评

Multiverse Computing 发了他们第一个大模型 Quasar 438B，主打企业智能体和编程。在 Artificial Analysis 的智力指数上拿了 43 分，确实是目前欧洲模型里最高的，比 Mistral Medium 3.5 高了 13 分。更值得看的是速度：输出 500 个 token 只要 15.3 秒，比分数接近的 Inkling（48.3 秒）快了两倍多，在推理模型里算很省时间了。长文推理（AA-LCR）拿了 75 分，和 Claude Opus 5 只差 0.7 分，这是它离顶尖水平最近的一项。

不过，在更考验实际干活能力的 Terminal-Bench 编程测试上，它拿了 69.3 分，虽然甩开 Mistral 18.7 分，但离 Claude Opus 5 的 89.1 分还有明显差距。官方说这是下一步要重点补的短板。另外，这篇公告没提训练数据来源、具体参数细节和价格，想评估实际成本和适用场景还缺关键信息。

Latent Space9/2 15:46

Anthropic 发布 Claude Fable/Mythos 5.1：编程跑分登顶，但输出 token 多了七成

Anthropic 在 9 月 1 日推出了 Claude Fable 5.1 和 Mythos 5.1，主打编程和知识工作。Fable 5.1 在 Terminal-Bench 4.0 上拿到 55.8% 的分数，官方把它定位成能自己跑多步复杂任务的模型。价格方面，缓存读取费砍了 75%，降到每百万 token 0.25 美元，但 Artificia...

推荐理由：Anthropic 发了 Claude Fable/Mythos 5.1，Terminal-Bench 4.0 得分 55.8%，缓存读取价砍了 75% 到每百万 token 0.25 美元，输出 token 上限涨了 70%。能力升级加定价大调整，当天就该写。没给 95 是因为目前只有 Lat 的初步数据，实际表现和稳定性还得等更多反馈。

锐评

Anthropic 这次更新，编程和跑长任务的能力确实又拉高了，Terminal-Bench 4.0 拿到 55.8%，是目前最顶的分数。缓存读取费砍到每百万 token 0.25 美元，乍看很省钱，但 Artificial Analysis 实测发现模型输出量涨了 1.7 倍，算下来单次任务成本反而多了约 20%。这个账得算清楚，别光看单价降了就激动。

社区在猜 Fable 和 Mythos 是不是同一套权重、靠安全路由做区分，正文没确认这点。另外，早期反馈里编程能力好评不少，但速率限制、误触安全护栏、订阅体验的抱怨也跟上了。这些实际使用的摩擦，比跑分更能决定它能不能干活。

还缺什么？官方没给推理延迟和长任务稳定性的具体数据，也没解释输出 token 为什么涨这么多。如果只是话变多了，那 20% 的成本涨幅就不太值。

Hugging Face 博客9/2 05:39

Allen AI 用心理测量学给大模型基准做“体检”，发现很多题目测的根本不是你以为的能力

Allen AI 开源了一套叫 BenchMIRT 的方法，用多维项目反应理论（MIRT）来审查大模型评测基准到底在考什么。他们分析了 100 个模型在 16 个基准、超过 3.4 万道题上的表现，没给任何预设，系统自动分离出两个核心能力维度：安全性和通用推理能力。比如 BBQ 基准里一道关于祖孙俩叫 Uber 的题，表面测年龄偏见，实际上还要求模型理...

推荐理由：Allen AI 开源了一套方法，拿项目反应理论来审计评测基准，背后有 100 个模型和 3.4 万道题撑腰。分数没上 80 是因为它是个方法论工具，不是能直接上线的产品更新，但 H、K、R 三个点都踩实了，信息也够硬。

锐评

这条新闻值得点开看，因为它直接戳破了当前大模型评测的一个常见问题：我们以为在测 A，其实题目里混着 B 和 C。Allen AI 开源了 BenchMIRT，用多维项目反应理论分析了 100 个模型在 16 个基准、超过 3.4 万道题上的表现。系统没靠人工预设，自动分离出两个核心能力维度：安全性和通用推理。

举个例子，BBQ 基准里那道“祖孙俩叫 Uber”的题，表面考年龄偏见，实际上还要求模型理清人物关系并基于证据推理。WildJailbreak 基准更明显，有害的越狱提示和良性提示分别对应安全与推理两个维度，粗暴地算平均分就把这个分裂给藏起来了。这套方法还能找出哪些题最能区分强模型和弱模型，意味着以后可以用更少的题做更干净的评测。

不过，正文没披露这 100 个模型的具体构成和规模分布，也没说明分离出的两个维度是否足以覆盖所有基准的考察点。如果模型池里缺少某些类型，结论的普适性就得打个折。代码、数据和技术报告都公开了，建议直接去看原始数据里自己关心的基准被拆成了什么样。

8月31日星期一

AI 群聊日报8/31 13:04

Astra 前端一次直出泄露，Coding 增长经济学，以及 Claude 安全降级误删 700GB 数据

OpenAI 正在灰度测试 Astra 模型，能零样本一次生成完整前端网页，测试者直呼“前端已解决”。Anthropic 在赶 Fable 5.1，两边已经开始用同一张 SVG 图隔空比细节稳定性。另一边，Claude Code 的安全机制把危险的文件清理任务降级给更弱的 Opus 4.8，结果它正确识别了主目录不能删，下一秒还是删掉了 700GB 数...

推荐理由：Astra 对 Fable 5.1 的隔空对决是本周最好看的叙事，四个技术方向让消息有料，“前端已解决”这种说法又足够刺激。但信源是群聊日报，转述的是微信文章和推文截图，没有一手技术报告，所以我会先打个折——方向值得盯，结论别急着全信。

锐评

今天最值得关注的是Claude Code那个荒诞的安全事故。它的安全机制检测到文件删除是敏感操作，主动把任务从强模型降级到弱模型Opus 4.8去执行。结果Opus 4.8在测试里明明答对了“主目录不能删”，下一秒就因为变量复用错误，把700GB主目录清空了。这暴露了一个设计悖论：把危险活交给更笨的模型，反而因为笨模型在细节上更容易出错，造成了更大的破坏。社区已经有人写脚本，检测到降级就自动暂停，说明这不是个例。

Astra的泄露信息很炸裂，零样本一次生成完整前端页面，测试者直接说“前端已解决”。但正文没披露它在复杂交互逻辑、后端数据联调上的表现，也没说生成代码的可维护性。Anthropic的Fable 5.1被曝在赶工，双方已经开始用同一张SVG图隔空比细节稳定性，这种隔空对决看看就好，等正式发布和第三方横评再说。

Coding增长经济学那段数据很扎实。非程序员的Codex用量增速远超工程师，法律部门增长108倍，销售41倍，说明“万物皆可Coding”正在发生——文件编辑、CRM操作这些任务在后台都被转成了代码执行。但@热情的大象的质疑也到位：这些算力经济性的推算没考虑供需，算力释放出来市场能不能消化还是个问题。