文本之外的能力：视觉理解、图文混合、音视频输入输出的模型与产品进展。
多智能体系统里有个麻烦：一个模型看图说话出错，把错误描述传给下一个模型，下一个模型再添油加醋，幻觉就像滚雪球一样越滚越大。新加坡国立大学 LV-Lab 等团队搞了个叫 ViF 的方法，不改造模型本身，即插即用。核心思路是不再只传文字，而是把视觉信息打包成“视觉接力令牌”塞进对话流里，同时用分层注意力重分配让模型多看该看的地方。论文已被 ICLR 202...
推荐理由：这篇入选 ICLR 2026 的工作解决的是多智能体视觉问答里一个很实际的毛病：纯靠文字传递信息，幻觉会一个 agent 传一个 agent，越传越离谱。他们提出的 ViF 用视觉中继令牌和分层注意力重分配，把图像信息直接塞进通信链路，不改模型就能插进现有系统。我会先打个折——论文没披露实际部署的延迟和额外算力开销，这点先别太激动。但 8 个基准、4 种结构、10 款模型上的提升摆在那里，幻觉严重度平均砍掉三成以上，环形结构接近四成，对做多模态 agent 的人来说是个值得跟的方案。
Alphabet 一季度财报电话会上，CEO Sundar Pichai 说 Google 搜索的查询量达到了“历史最高”，搜索广告收入涨了 19%。他把增长归因于 AI 功能（比如 AI Overviews 那种直接在搜索结果顶部给答案的体验）和 Gemini App 的拉动。另外，YouTube 订阅和 Google One 这类付费服务总订阅数超...
推荐理由：HKR 三项全中：Alphabet 报出搜索查询量历史新高、搜索收入涨 19%、付费订阅破 3.5 亿。但正文没给查询量基数，也没拆 AI Overviews 带来的增量，所以信息有缺口。整体够得上 72–77 分的 featured 档位。
Interfaze 发布了一个叫 SOB 的基准测试，专门看大模型从文本、图片、音频里提取信息并输出成 JSON 时，到底靠不靠谱。它不像老测试只看 JSON 格式对不对，而是重点查字段里的值准不准——比如发票金额有没有瞎编。测试覆盖了 5000 条文本、209 张图片和 115 段音频，每道题都有人工核对过的标准答案。结果发现，大部分模型在格式上都能...
推荐理由：我会先打个折：这是 Show HN 首发，没有外部采用信号，所以分数压在 75。但内容本身对做结构化输出的团队有用——它不测模型会不会聊天，只测模型能不能老老实实按 schema 吐出对的类型和值。GLM-4.7 总榜第二是个钩子，但真正值得盯的是 GPT-5.4 在文本任务排第 3、图像任务掉到第 9，说明多模态下字段值错会明显放大。正文没披露测试集规模和领域分布，这点先别太激动，但方法论上把 schema 准确率、类型准确率、值准确率拆开算，比只看一个总分要实在。
Mistral AI 在 Hugging Face 上放出了 Mistral Medium 3.5，一个 1280 亿参数的稠密模型，上下文窗口拉到 25.6 万 token。它能吃文本和图片，支持函数调用和 JSON 格式输出，推理强度可以按请求设成“无”或“高”。许可证用的是修改版 MIT，但对高收入公司留了例外条款——正文没披露具体收入门槛是多少...
推荐理由：这条发布信息量够硬，HKR 三项都踩实了，所以重要性给到 84。但正文没放任何跑分、定价和可复现的测试结果，我会先打个折——没有这些，光看参数和功能列表，实际效果和成本还不好判断。
DeepSeek 把多模态模型全量推上线了，现在打开网页版就能用识图模式。从体验看，这应该是一个独立的多模态模型，不是把图片转文字再丢给纯文本模型那种拼接方案。正文没披露模型名字、参数量、定价和 API 开放时间，这些关键信息都还缺着，想接进自己流程的朋友得再等等。
推荐理由：我会先打个折：这条消息本身够重磅，DeepSeek 的多模态终于从传闻变成可试用的东西了。但正文只确认了网页版识图入口，模型叫什么、多大、多少钱、什么时候上 API 全都没说，信息密度其实挺薄的。HKR 三条都踩中了，不过来源只有一条 X 帖，验证不够硬，所以分数压在 78–84 这个区间是合理的。这点先别太激动，等 API 和 benchmark 出来再重新评估。
劈柴哥发帖庆祝谷歌翻译上线 20 年，月活用户到了 10 亿。他梳理了背后的四代技术：最早是统计机器翻译，2016 年换成神经网络翻译，后来用上 PaLM 2 大模型，2024 年一口气加了 110 种语言。最新的是 Gemini 2.5 Flash 的原生音频翻译，不再先把语音转文字再翻译，而是直接处理声音，能保留原话的语调、停顿和节奏。劈柴哥形容这...
推荐理由：核心事件是谷歌翻译过生日和架构回顾，不是新品发布，但 10 亿月活、110 种语言扩增和原生语音翻译的细节撑得起 featured 档位。我会先打个折，因为正文没给出原生语音功能的具体上线时间或实测数据，这点先别太激动。不过它点到了语音 AI 产品眼下最纠结的问题：级联管线 vs. 原生多模态，所以值得从业者看一眼。
生数科技新模型 MotuBrain 拿了两个第一：在 WorldArena 世界模型榜单上得分 63.77 EWM，在 RoboTwin2.0 的干净和随机两个测试里分别拿到 95.8 和 96.1 分。官方说它是在 Motus 基础上加了视频-动作联合建模、Latent Action VAE、MoT 和 UniDiffuser，能跨不同机器人形态做长...
推荐理由：MotuBrain 在两个榜单上拿了第一，分数看着挺漂亮。但正文没交代训练数据量、评测提交细节，也没有真实机器人的成功率数据，目前只能算单次刷榜。我会先打个折，等技术报告或实物演示出来再往上调。
Avenir-Web 是 UCL、普林斯顿和爱丁堡大学一起开源的一个网页智能体框架，主打不训练、直接给模型套上就能用。它在 ONLINE-MIND2WEB 这个包含 136 个网站、300 个真实在线任务的测试里，成功率做到了 53.7%。对比一下，用 Gemini 3 Pro 跑的时候，它比 Claude Computer Use 3.7 的 47....
推荐理由：HKR 三项都站得住：标题有记忆点，数字和对比够具体，选题踩中网页智能体可靠性和模型选型这两个从业者高频焦虑点。这是开源研究发布，不是大厂模型首发，82 分放在 78–84 区间合理。
DeepSeek 研究员确认 V4 视觉版已经在灰度测试，官网首页上线了图片识别入口。一张截图显示，模型花了 4 秒识别出一张文字不多的图片里的饮料种类和杯子类型。正文没披露灰度覆盖范围、API 是否开放以及定价，所以能不能用上、花多少钱还不清楚。
推荐理由：HKR 三项都站得住：DeepSeek V4 视觉灰度测试是实打实的国内旗舰更新，有截图和 4 秒思考样本。分数维持 80，因为正文没披露开放范围、API 怎么接、价格和跑分，信息缺口不小，先别太激动。
4 月中旬有个叫 MotuBrain 的模型在 WorldArena 和 RoboTwin2.0 两个榜单上突然登顶，生数科技在 4 月 29 日认领了它。RoboTwin2.0 的干净环境和随机干扰环境分别拿了 95.8 和 96.1 分。演示里用三台不同的人形机器人接力完成了五项任务，核心是一套叫“世界动作模型”的设计，把视频、动作和语言用混合专家...
推荐理由：我会先打个折：分数和 Demo 都来自公司自己，没有独立部署数据，所以 82 分不往上调。但悬念认领加三台机器人实物演示，H 轴直接拉满；RoboTwin2.0 双场景高分和三流 MoT 架构把 K 轴撑实了；视频公司跨进具身智能这条线，R 轴也站得住。整体判断没变，三个轴都过，分数保持。
商汤放出了 SenseNova-U1 系列，主打“原生统一多模态”，意思是模型内部直接处理文字和图像，不用再像以前那样给语言模型外接一个图像适配器来翻译视觉信息。这次公开了 8B 和 A3B 两种 MoT（Mixture of Tokens）规格的权重，其中 A3B 的参数量更小，适合本地跑。官方说法是这套架构把视觉理解和生成塞进了同一个模型里，但 R...
推荐理由：HKR 三项都踩实了：单体架构替代适配器这个思路有看头，4 个 MoT 模型加开源权重是实打实的新料，本地可跑的多模态模型正好戳中当下热点。但正文没给任何基准分，来源又是 Reddit，信息缺口明显，所以分数压在 74 这个 featured 门槛上，先别急着往上抬。
彭博社这篇报道的正文被付费墙挡住了，只抓到了标题和一段机器人验证页面，所以具体功能、用了什么模型、支持哪些机型、什么时候上线，正文都没披露。从标题看，苹果准备在系统自带的照片 App 里塞进一批 AI 编辑工具，关键词是“扩展、增强、重新构图”，听起来像是能自动补全画面边缘、提画质、帮你重新裁切构图。RSS 提要里提了一句这是为了跟安卓阵营的 AI 修...
推荐理由：消息来自 Bloomberg，可信度还行，而且照片编辑是系统自带的高频功能，所以 hook 和 reach 都成立。但 knowledge 这块确实撑不起来——功能细节、模型方案、上线时间全是空白，只能给到 featured 的底线分 72。
英伟达在 2026 年 4 月 28 日开源了 Nemotron 3 Nano Omni，一个能同时处理文字、图片、音频、视频、文档、图表和屏幕界面的多模态模型。它用了 30B-A3B 的混合专家架构（MoE），实际激活的参数量是 3B，配合 Conv3D 和 EVS 技术来处理音视频，上下文窗口拉到 256K。官方说在保持交互延迟不变的前提下，跑 A...
推荐理由：NVIDIA 这次把视觉、语音、文字塞进一个 30B-A3B 的混合专家模型里，还开放了权重和训练技术。我会先打个折：9 倍效率提升是跟谁比、测什么任务，正文没细说，这点先别太激动。但 256K 上下文、Conv3D 和 EVS 这些配置，加上直接上 Hugging Face 和 OpenRouter，对想用开源方案搭多模态 agent 的团队确实省事。单信源，信息够用但不算独家，所以放在 featured 里。
面壁智能、OpenBMB、清华 NLP 和数学基础中心放出了 MiniCPM-o 4.5 的技术报告。模型参数约 90 亿，能同时处理视频、音频和文字流。核心设计叫 Omni-Flow，把不同信号放在一条统一时间线上分时复用，省掉了外挂的语音活动检测模块。报告里说，一张 12GB 显存的 RTX 5070 就能跑全双工模式，实时率做到 0.4，意味着生...
推荐理由：HKR 三项都成立：9B 全双工模型在 12GB 消费卡上跑到 RTF 0.4，靠 Omni-Flow 的时间轴对齐机制实现。不是前沿实验室的旗舰发布，但实用性强，78–84 分合理。
商汤放出了两个开源模型 SenseNova-U1，一个 8B 参数，另一个是总参数量 38B 的 MoE 版本，都用了一套叫 NEO-unify 的架构。它砍掉了传统的视觉编码器和 VAE，直接处理像素，在单张 H100 或 H200 上大概 9 秒能生成一张 2048×2048 的图。核心卖点是图文交错推理，也就是模型能边看文字边看图、边想边出图。不...
推荐理由：我会先打个折：正文没给图文交错思维链的具体效果和长文字渲染的实测，32K 上下文和连续图文 beta 也还是限制，别当成熟方案用。但去掉 VE/VAE 的像素直出设计确实有意思，9 秒出 2048 图的成本听着挺省，开源出来对做多模态的团队是个可拆可改的底子。
联影智能放出了 uAI-NEXUS-MedVLM，一个专门让大模型理解超声、内窥镜这类医疗视频的开源方案，配套论文中了 CVPR 2026。他们同时发布了一个叫 MedVidBench 的评测集，包含 53.2 万条视频-指令对，覆盖 8 种医疗视频来源和 8 类任务。团队拿 Qwen2.5-VL-7B 在这个数据集上做监督微调，在核心指标 CVS 上...
推荐理由：HKR 三项都站得住：真实医疗视频加首个开源方案自带话题性，53 万条数据和 89.4% 对 16.4% 的结果提供了硬信息，也切中了通用模型在专业领域拉胯、开源方案抢位的行业情绪。医疗场景的垂直属性让分数落在 78–84 区间，82 分合理。
Pask 是新加坡国立和南洋理工联合发布的一个系统，论文编号 arXiv:2604.08000。它主要靠三个模块干活：DD、MM 和 PAS，其中 IntentFlow 这个组件能在 1.5 秒内实时检测用户意图。核心赌的是实时意图识别，而不是把执行链路拉长。不过正文因为微信页面环境异常被屏蔽了，具体技术细节、实验数据和验证结果都没披露，所以这 1.5...
推荐理由：Pask 把主动 Agent 的难点从执行链压到了实时意图层，1.5 秒检测和永久记忆是实打实的工程指标，不是概念包装。论文号、模块名都给了，信息够硬。但正文没提开源、没给 benchmark 对比、也没说有没有实际部署，所以分数先打个折，停在 78。
微软在 Reddit 上发了个帖子，标题信息量挺大，但帖子正文被 403 屏蔽了，看不到具体细节。从标题看，TRELLIS.2 是个开源的图生 3D 模型，参数量 40 亿。它能生成最高 1536³ 分辨率的 PBR 纹理资产，也就是带物理渲染材质的 3D 模型，不是白模。技术路线上，它用了原生 3D VAE 做 16 倍空间压缩，这通常意味着生成效率...
推荐理由：标题信息量不小，但正文因为 Reddit 403 拿不到论文链接、许可证和具体评测，所以只能按标题给的事实来写。我会先打个折：1536³ 的 PBR 资产听起来挺省钱，但没看到跟现有方法的对比，这点先别太激动。40 亿参数配上 16 倍空间压缩，理论上推理会快一些，不过没实测数据就不好说实际延迟。整体判断挂在微软开源这个动作上，信息缺口是缺论文和基准，所以分数停在 featured 的底线。
Canva 的 Magic Layers 功能本来是把平面图拆成可编辑图层，结果被用户发现它会偷偷把文字里的“Palestine”替换成“Ukraine”。X 用户 @ros_ie9 测试时，“cats for Palestine”变成了“cats for Ukraine”，但“Gaza”这个词没受影响。Canva 说已经修了，但没解释触发机制是什么。
推荐理由：这不是常规功能更新，而是一次具体的 Magic Layers 事故。H 来自“Palestine 变 Ukraine”这种不该发生的替换；K 在于功能边界被打破，且正文没披露触发逻辑；R 则指向政治敏感和信任风险。我会先打个折，因为 Canva 只说已修复但没解释原因，信息缺口还在。
GPT Image 2 上线不到半天就在 Arena 图像榜拿了三个第一。文生图得分 1512，比第二名 Nano Banana 2 高出 241 分，Arena 说这是图像榜有史以来最大分差。盲测胜率 93%，文字渲染能力一口气涨了 316 分。核心变化是模型会“先想再画”：先规划构图、自己检查结果、能联网搜图，还能一次出 8 张风格统一的图。不过正...
推荐理由：GPT Image 2一上线就屠榜，分数和胜率都摆在那，1512分、93%盲测胜率、文字渲染涨316分，这些数字说明它确实把文生图拉到了新高度。我会先打个折：原生思考图像模型听起来很猛，但正文没披露具体架构和成本，这点先别太激动。不过一次生成8张连贯图、能联网搜图再画，对做设计和内容的人很实用。整体是近期多模态产品里最硬的一次更新，值得从业者盯一下。