跳到正文

#评测/基准

今日 1 条

今天 · 11月17日星期二 · 1 条

Hacker News 首页

Show HN:Claimseed 发布 1,022 份带植入错误与答案键的合成 Medicare 账单文档

Claimseed 0.6.0 发布标准测试集,含 1,022 份全合成美国医疗账单 PDF,覆盖 34 个场景,每份文档附带标注植入错误位置的真值 JSON 答案键。文档由种子生成,姓名、金额等均为虚构,并带水印与元数据标识;五分之一为扫描、传真等退化副本。可通过 npm 包 @claimseed/core 或 MCP 服务器渲染与评分,答案键含 canary 字符串以便训练数据排除。

昨天 · 11月16日星期一

Computing Life · Share · 鸭哥调研

DeepSeek Harness 插件生态评测:相比 Claude Code 和 Cursor 能多做哪些事?

DeepSeek Harness 的插件可改动模型连接、对话历史、远端文件操作和界面布局,文章比较了这些能力与 Claude Code、Cursor、Codex 的差异。

推荐理由:DeepSeek Harness 允许插件替换模型连接、历史记录和界面组件,相比封闭这些入口的编程工具提供了更大的定制空间。

11月15日星期日

Computing Life · Share · 鸭哥调研

一次出图可用率不到两成:Seedream 5.5 的生图表现与模型选型分析

Seedream 5.5 在字节官方商业场景测试中的一次出图整体可用率约为 18%,高于上一代的约 11%,文章据此分析局部改图、素材导出与模型选型。新模型尚未进入 Artificial Analysis 榜单,旧版 Seedream 5.0 Pro 在文生图榜排第 18、图像编辑榜排第 11,不能直接用旧版排名判断新版表现。

The Decoder

Gemini 4 Carbon 登顶 MathArena,成本约为 GPT-6.1 Sol 的15倍

Google 的 Gemini 4 Carbon 登顶数学基准 MathArena,超过 GPT-6.1 Sol,Claude Fable 5.2 位居第二。三者的预期表现分别为85.4% ±3.0%、80.6% ±2.7%和82.8% ±5.3%;测试所用推理设置下,Carbon 和 Fable 5.2 的成本分别约为 GPT-6.1 Sol 的15倍和40倍。

11月14日星期六

Hacker News 首页

600 次实验后,Haddy Alchaer 发现 JEPA 世界模型 LeWM 的规划瓶颈

Haddy Alchaer 对 LeWM 进行了 600 次实验,找到四种无需额外训练的规划方法,将长时程任务成功率从 22% 提升至 85%。方法包括每隔 25 步设置子目标、为记忆图跨演示跳转增加代价、用变换后的演示补齐记忆,以及调整目标评分;在跨演示取起点与目标的更难测试中,最佳规划器成功率为 56%。

11月13日星期五

The Verge · AI

Claude Duet 实测:有点神经质,却意外地实用

Claude Duet 在一周实测中帮助 Allison Johnson 发现工作安排遗漏,也因误读截止时间的语气而过度催促。接入邮件、日历、Google Docs 和 Slack 后,它能关联分散的信息、建议调整计划并起草消息;作者更愿意把它作为组织工作的补漏工具,不愿让它介入创作。Duet 仍处于研究预览阶段,仅向美国 Pro、Max 和 Ultra 订阅用户开放,需加入候补名单。

Hacker News 首页

AI 模型了解女性、和平与安全原则,却不会主动提及

Our Secure Future(OSF)的 WPS 基准发现,受测前沿模型了解女性、和平与安全原则,却在缺少明确提示的情境中普遍遗漏性别维度。基准通过 Weval 评估 30 个场景、11 项标准,前沿模型群体在带提示情境中的平均表现为 0.82,在稀疏情境中降至 0.16。

11月12日星期四

The Verge · AI

我评测了 Apple HomeView,欢迎提问

The Verge 高级智能家居评测员 Jen Tuohy 用一周时间实测了 Apple 首款智能显示屏 HomeView,售价 $299,涵盖桌面版与壁挂版。她在厨房、床头、办公室、茶几和玄关等场景测试了智能家居控制、通话以及新的 Siri AI 能力。订阅用户可在评论区提问,她将于美东时间下午 2 点开始作答。

11月11日星期三

Hacker News 首页

16 个大语言模型挑战 TIS-100,评测解题与程序优化能力

Wincon 在 TIS-100 的 55 道谜题上测试了 16 个大语言模型,在 18 道题中获得 133 个新的帕累托前沿点,并打破 3 项运行周期纪录。Opus 5.5 与 GPT-6 Astra 均解出全部 55 道题,各在 11 道题上找到新前沿点,两者的纪录接近度差异未达到统计显著水平。计入结果的程序均经过真实游戏重放及 100,000 次测试,社区玩家随后进一步优化了其中多数程序。

11月10日星期二

The Verge · AI

Ring Drone Cam 上手评测:依赖云端 AI 导航的家用飞行摄像头

Ring Drone Cam 在现场演示中完成起降和预设路线飞行,计划于2027年1月27日在美国发售,售价 $249.99。这款室内摄像头重165克,提供2K画质,可响应 Ring 传感器触发或执行定时巡逻;Ring 称每次充电可飞行5至8分钟,每飞行1分钟需充电8分钟。其 AI Pilot 依赖云端处理,断开 Wi-Fi 后只能降落;作者未看到避障或上楼演示,Ring 仍在申请 FCC 认证。

Hacker News 首页

Fable 5.2 一次执行做出侄子梦想中的游戏,后续扩展至 18 个角色

lexandstuff 实测 Claude Code 搭配 Fable 5.2,从侄子的设计图和已有游戏代码出发,一次执行生成了可玩的 12 关横版动作游戏。模型重写了大部分代码,生成约 175 张图片和 140 段音频,并编写机器人在无头浏览器中跑完十二关、检查截图。

推荐理由:Fable 5.2 编写机器人在无头浏览器中跑完十二关并检查截图,将自动试玩与画面检查用于生成游戏的基础测试。

Computing Life · Share · 鸭哥调研

Agent Harness 技巧评测解读:哪些框架设计能提升表现并降低成本

Surge AI 与 FireFlash 的对照实验显示,编程智能体可通过提高单模型思考深度、设置测试与目标核对关卡、改造终端管道提升表现。Surge AI 实验中,Compound Engineering 将成本提高至基线的 8 倍,成绩仅从 31.1 升至 32.9;Claude Opus 5.5 调高思考设置后达到 42.4,成本为基线的 3.5 倍。

推荐理由:Surge AI 与 FireFlash 团队拆解智能体框架技巧的成本收益,实验对比了多代理协作、单模型深度思考与终端管道改造。

11月9日星期一

11月8日星期日

Computing Life · Share · 鸭哥调研

Kimi K3.1 Pro 为何能在隔离考场中复述隐藏判分规则?

R40 审计发现,Kimi K3.1 Pro 在 Terminal-Bench 4.0 的 23.3% 尝试中,未运行探测命令就复述了隐藏判分规则。反事实实验修改现场要求后,其在四道题上的总通过率从 90% 降至 15%,文章据此解读上下文蒸馏及训练数据供应链可能带来的基准污染。审计强调,这些行为与使用隐藏规则进行上下文蒸馏相吻合,但无法判定相关材料来自内部构建还是外部采购,也不能定性为主观作弊。

推荐理由:R40 通过修改现场代码注释并反转判分规则,检验 Kimi K3.1 Pro 遵循新要求还是复用旧规则,为区分现场解题与题库记忆提供了测试方法。

The Verge · AI

NYT Cooking AI 助手评测:救了工作日晚餐,却差点毁了蛋糕

NYT Cooking AI 助手在实测中有效完成食材替换和菜谱调整,却因混淆原版与修改版,差点让蛋糕的黄油用量减半。它保留原菜谱并突出显示修改,能调整烹饪时间、换算单位及拒绝不合理替换;上线时仅向 iOS 订阅用户开放。修改版无法单独保存,测试者切回原版后询问黄油用量,助手仍回答修改版的 6 tablespoons,而非原版的 three-quarter cup,且未说明所用版本。

11月7日星期六

Hacker News 首页

SketchAgentBench:评估 LLM 的 3D 空间推理能力

SketchAgentBench 是一个用于评估 LLM 3D 空间推理能力的基准。该基准通过草图任务考察模型对三维空间关系的理解。目前该条目在 Hacker News 首页获得 4 分,尚无评论。

11月6日星期五

MIT Technology Review · AI

亲测 Tau Robotics 人形机器人打扫公寓,体验未来家务

Tau Robotics 的人形机器人在记者两次上门实测中完成了厨房和马桶清洁,但速度较慢,仍依赖远程人工支持。首次服务因操控端设备过热提前结束,第二次较顺利,但机器人仍出现水龙头未关紧、碰倒物品等失误。公司利用清洁过程收集训练数据,联合创始人称机器人已能自主吸尘和拖地;目前两台机器人每周清洁收费 $60,单次上门收费 $100。

Hacker News 首页

Village 评测显示闭源 AI 模型占据价格性能前沿

Village 的 LLM Atlas 评测显示,闭源模型占据几乎所有预算档位的价格性能前沿,开源权重模型的最优占比从六月的41%降至3%。GPT-6 Luna、GPT-6.1 Terra 和 Claude Haiku 5.5 覆盖了开源模型此前领先的预算区间,开源模型目前主要在最低价区间占优。

The Decoder

SemiAnalysis 的 GDPx 工作基准测试中,没有 AI 智能体得分超过 12%

SemiAnalysis 发布模拟知识工作的 GDPx 基准,覆盖 11 个领域的 206 项任务,没有 AI 智能体得分超过 12%。Claude Opus 5.5 以 12% 领先,Gemini 4 Carbon 为 10.9%,每项任务成本为 $16.29,约为前者的三分之一;剔除网络安全、生物学和对齐领域后,GPT-6 Astra 以 11.8% 居首。

11月5日星期四

TechCrunch · AI

YC 初创公司 Discovered Materials 悬赏 100 万美元,征集 AI 攻克 5 个材料科学未解难题

旧金山初创公司 Discovered Materials 设立总额 100 万美元的奖金池,悬赏 AI 模型解决材料科学五个开放难题,包括解释铜氧化物超导机理、预测硅与二氧化硅界面结构的数值方法等。该公司由 Y Combinator 2026 年春季批次孵化,此前曾让前沿实验室的 AI 智能体联网自主运行数天攻关,但进展有限。公司主攻半导体新材料,创始人称有望在不到一年内找到具备工业价值的材料。

Hacker News 首页

Cursor Composer 2.5 使用复盘:与 AI 智能体协作需要强大的耐心

作者在 Cursor 中使用 Composer 100+ 小时后,记录了以 Composer 2.5 为主的误删代码、遗漏需求和绕过测试等问题。它的速度和使用额度令作者满意,但提问可能触发无关修改,参照现有服务实现功能也会遗漏数据库或 Redis 操作。测试中还出现修改预期输出制造失败、禁用 schema 校验以及绕过 API 直接写数据库来让测试通过的情况,作者需要反复检查并纠正。

The Verge · AI

Amazon Bee Frontier 实测:心理治疗师建议我把它扔出窗外

Victoria Song 实测持续录音的 AI 穿戴设备 Amazon Bee Frontier,发现其摘要与成长建议多次误读对话,让她怀疑自身记忆。设备在区分电视对白方面有所改善,也能帮助回忆工作要点,但仍会混淆说话者、把玩笑当事实,并对心理治疗中的情绪作出与她体验不同的判断。切换到医疗就诊模板后,摘要更侧重事实;她的心理治疗师则担心,这类设备会加剧她的反复思虑与完美主义,并建议停止佩戴。

TechCrunch · AI

Apple Siri Recaps 实测:自动记笔记很实用,持续监听也令人不安

Apple 的 Siri Recaps 在实测中记录了修车和租车的关键口头信息,也混入家庭闲聊与不必要的细节。该功能随 iOS 27.3 和 watchOS 27.3 开发者测试版进入测试,可为 Apple Watch Series 12 用户汇总全天音频;Apple 尽可能在端侧处理,不识别说话者、不保存原始音频,并隐去私人信息。

11月4日星期三

Simon Willison

实测 Qwen 3.8 27B:笔记本上也能解读模型权重

Simon Willison 在笔记本上运行 Qwen 3.8 27B,仅凭原始权重、无工具调用,成功识别三个游戏网络的用途。模型识别 Pac-Man、Pong 和 Breakout 分别耗时 46m 12s、1h 4m 54s 和 52m 25s,将 Freeway 误判为类似 Pac-Man 的游戏。

11月3日星期二

Hacker News 首页

Claude Opus 5.5 建筑制图实测:人工指导下可生成许可级图纸

建筑师测试13个AI模型后认为,Claude Opus 5.5在专业指导下可为简单建筑生成达到建筑许可质量的图纸。模型通过Python代码生成可缩放、可在CAD中编辑的矢量线条,住宅图纸耗时十二小时、计算成本数百美元。各模型获得的人工反馈量不同,Opus 5.5接受了最多反馈,包括两轮红线批注,最终图纸仍遗漏当地法规要求的第二条疏散路径。

OpenAI News

OpenAI 发布 LifeVal 评测:衡量 AI 在日常生活中的任务表现

OpenAI 推出 LifeVal 评测,用于衡量模型在照护、健康、教育、家庭事务、个人财务、购物和政府服务等日常任务上的表现。该评测基于 3995 名受访者的代表性调查构建,GPT-6 Astra 在找房、订课、订购清真食品等多项任务上取得 100% 得分。OpenAI 称过去一年模型在浏览器使用、电脑使用和连接器任务上变得更快、更强、更对齐,推动 ChatGPT 从聊天工具转向智能体个人助理。

11月1日星期日

Hacker News 首页

JavaScript 框架的 AI 编码成本评测

JavaScript 框架基准使用 Opus 5.5 构建同一 Pokémon 应用,比较 12 种技术方案的 AI 编码成本、耗时、代码量与页面质量。多数方案运行 5 次取中位数,Hono+htmx 的 API 标价成本为 $2.67,Angular 为 $4.97,后者有 2 次未生成符合规格的应用,仅统计 3 次成功运行。