跳到正文

#多模态

今日 4 条

5月10日星期日

r/LocalLLaMA

BeeLlama.cpp:用 DFlash 和 TurboQuant 让 Qwen 3.6 27B 在单张 3090 上跑 20 万上下文,速度翻倍

Anbeeld 发了一个 llama.cpp 的分支 BeeLlama.cpp,主要加了 DFlash(一种省显存的注意力机制)和 TurboQuant(更快的量化方案),还支持推理和视觉任务。

推荐理由:Anbeeld 发布 llama.cpp 分支 BeeLlama.cpp,加入 DFlash 省显存注意力与 TurboQuant 量化,让 Qwen 3.6 27B 在单张 3090 上支持 20 万上下文并提速 2 至 3 倍。

5月9日星期六

AI HOT 精选

特斯拉用视觉AI提前“看”到碰撞,让气囊和安全带更早启动

特斯拉把车上摄像头看到的画面和碰撞传感器结合起来,让安全系统能提前判断要撞车了,不等传感器确认就先把安全带收紧、气囊准备好。团队用真实事故数据和仿真回放,拿人体模型测受力,发现早一点启动保护能明显降低预估伤害。这次改进通过OTA推给车主,但正文没披露具体支持哪些车型,也没给出伤害风险降低了多少的量化数字。

推荐理由:特斯拉将摄像头画面与碰撞传感器结合,让安全带和气囊在传感器确认前提前启动,并用真实事故数据与仿真回放评估人体受力。

AI HOT 精选

Peekaboo 3.0 发布,主打“先动手”的 Mac 操作和界面识别

Peekaboo 3.0 上线了,作者说这是 2.0 以来最大的一次更新。核心变化是把“操作”放在第一位,不再是先看再点,而是直接让模型去执行 Mac 上的任务。它把截图和界面检测统一成一个功能,CLI 和 MCP 之间的 JSON 交互也整理得更干净,快照功能有改进。作者提到去年就想做,但当时模型能力不够,现在时机到了。

推荐理由:Peekaboo 3.0 把截图与界面检测合并为一项功能,让模型直接执行 Mac 任务,并整理了 CLI 与 MCP 之间的 JSON 交互,桌面自动化工具正把看与动收进同一套流程。

量子位 · 公众号

千问AI眼镜S1上线空间3D显示和主动服务,能提醒你叫车、帮你买东西

千问AI眼镜S1这次更新加了两个新东西:空间3D显示和主动提醒。空间3D显示是行业里第一个这么做的,眼镜里看到的画面会有立体感。主动提醒的意思是眼镜会自己跳出来提示你,比如该叫车了,还能直接帮你操作叫车。这个月还会上线即时购物和拍照搜题功能。另外Wellsenn XR的数据显示,从3月8号开始,千问AI眼镜拿下了国内线上AI眼镜53%的销量,卖得最多。

推荐理由:千问AI眼镜S1上线空间3D显示与主动提醒,能提示叫车并代为操作,本月还将加入即时购物和拍照搜题;Wellsenn XR数据显示其3月8日起占国内线上AI眼镜53%销量。

机器之心 · 公众号

港科大和社区开源了 StarVLA,一个框架把主流视觉-语言-动作模型串了起来

StarVLA 把 VLA(视觉-语言-动作模型)里常用的主干网络、动作输出头、训练策略和评测接口都做成了可插拔的模块,不用再为不同论文各搭一套代码。仓库在 GitHub 上已经拿到 2.2k 星,支持的基准包括 LIBERO、SimplerEnv、RoboTwin 2.0、RoboCasa-GR1 和 BEHAVIOR-1K。

推荐理由:港科大与社区开源 StarVLA,把 VLA 常用的主干网络、动作输出头和训练评测接口做成可插拔模块,省去为不同论文各搭一套代码的重复工作。

5月8日星期五

机器之心 · 公众号

英伟达和普渡大学用 agent 闭环做文生 3D 场景,让模型自己检查、自己改

这篇是 ICLR 2026 的论文,讲的是英伟达 Cosmos Lab 和普渡大学搞的 Scenethesis 框架。它让语言和视觉模型组成一个 agent 闭环,根据文字描述生成 3D 场景。流程里加了视觉定位、基于 SDF 的物理约束,还有一个裁判模块来挑错。

推荐理由:英伟达 Cosmos Lab 与普渡大学提出 Scenethesis 框架,用语言和视觉模型组成 agent 流程生成 3D 场景,并加入 SDF 物理约束与裁判模块做自检纠错。

AI HOT 精选

苹果带摄像头的 AirPods 进入 DVT 阶段,最快 9 月跟新 Siri 一起到

彭博社的 Mark Gurman 说,苹果那款传闻很久、自带摄像头的 AirPods 已经进入设计验证测试(DVT)阶段,外形和功能基本定型了。左右耳机各塞了一颗低分辨率摄像头,不是用来拍照,而是给 Siri 当“眼睛”,让你对着眼前的东西直接提问,比如看到一堆食材问能做什么晚饭。耳机柄为了塞摄像头比 AirPods Pro 3 稍微长一点。

推荐理由:苹果内置摄像头的 AirPods 已进入设计验证测试阶段,外形和功能基本定型,摄像头用于让 Siri 识别眼前物品并回答提问。

The Verge · AI

苹果带摄像头的 AirPods 快量产了,主要给 Siri 当眼睛用

Mark Gurman 爆料,带摄像头的 AirPods 已经进入 DVT(设计验证测试)阶段,离 PVT(生产验证测试)只差一步。苹果内部测试人员正在用原型机,摄像头不拍照片或视频,只捕捉低分辨率画面,用来帮 Siri 回答“这菜怎么做”之类需要看东西的问题。正文没披露具体像素、延迟和功耗数据,也没说什么时候上市。

推荐理由:苹果带摄像头的 AirPods 已进入设计验证测试阶段,摄像头只捕捉低分辨率画面帮 Siri 理解视觉问题,这一形态展示了 AI 硬件在端侧多模态交互上的新方向。

彭博科技

苹果带摄像头的 AirPods 已进入后期测试,想做成 AI 时代的穿戴设备

彭博社拿到消息,苹果把带摄像头的 AirPods 推进到了后期开发阶段。这可能是苹果第一款明确为 AI 场景设计的穿戴设备,但报道没公布摄像头具体参数、工作原理和发布时间。我会先打个折:目前只有进度信息,产品能不能落地、怎么用 AI 都还是未知数。

推荐理由:苹果将带摄像头的 AirPods 推进到后期开发阶段,这可能是其首款明确面向 AI 场景的穿戴设备,关注 AI 硬件走向的读者可以留意苹果在这一方向上的布局。

5月7日星期四

AI HOT 精选

商汤 SenseNova-U1 开源 8 步蒸馏 LoRA,扩散模型推理从 23 秒压到 2 秒

商汤把扩散模型常用的 100 步生成流程蒸馏到只剩 8 步,GPU 上跑一张图从 23 秒降到 2 秒,快了 11 倍。做法是训了一个 LoRA 权重,直接挂到模型上就能用,不用改原模型结构。配套给了 ComfyUI 工作流,覆盖文生图、改图和交错生成。正文没提具体画质对比和什么显卡跑的,这点先别太激动。

推荐理由:商汤开源 8 步蒸馏 LoRA,把扩散模型 100 步生成流程压缩到 8 步,单张图 GPU 推理从 23 秒降到 2 秒,并配套 ComfyUI 工作流,覆盖文生图、改图和交错生成。

量子位 · 公众号

浙大与阿里提出 MetaCompress:只看图片就能学会压缩 Token,多轮视觉问答压缩率 90% 且精度不掉

这篇 CVPR 2026 论文介绍了一个叫 MetaCompress 的框架,专门解决多轮视觉问答里图片 Token 太多、推理太贵的问题。它的做法是让模型只看输入图片,自己生成一张“压缩映射图”,直接决定哪些视觉 Token 该留、哪些该扔,不需要额外训练一个压缩网络。文章给出的核心数据是:能砍掉 90% 的视觉 Token,同时保持回答精度不降。

推荐理由:浙大与阿里提出 MetaCompress,让模型仅凭输入图片生成压缩映射图来决定视觉 Token 取舍,在多轮视觉问答中砍掉 90% 的 Token 而精度不降。

量子位 · 公众号

Vidu Claw 上线:一句话加一百块预算,直接生成一条广告片

生数科技把 Vidu Claw 放出来了,主打“一句话出广告片”。你给一句提示词,它能自动走完写脚本、配旁白、加音乐、剪辑合成全流程,最后吐出一条成品视频。官方拿龙虾当例子,说百元预算就能搓出“百万级”广告片,但正文没披露这个成本具体怎么算出来的,也没给实际成片链接,我会先打个折看。

推荐理由:生数科技上线 Vidu Claw,输入一句提示词即可自动完成脚本、旁白、配乐与剪辑并输出成品视频,其龙虾广告案例展示了从一句话到成片的完整链路。

新智元 · 公众号

浙大与哈佛开源 UniGeo:用几何信息做相机可控的 3D 场景编辑

浙大和哈佛放出了 UniGeo 的代码、报告和在线演示。它解决的是 3D 场景编辑里一个老问题:你让 AI 换个角度生成画面,结果物体形状、位置全乱套了。UniGeo 的做法是把几何约束直接塞进模型结构、表示层和损失函数里,相当于给模型装了个空间坐标系,让它知道物体该在哪、长什么样。

推荐理由:浙大与哈佛开源 UniGeo,把几何约束写进模型结构、表示层和损失函数,用于缓解换角度生成时物体形状与位置失真的问题。

5月6日星期三

r/LocalLLaMA

Qwen 3.6 27B 用上 MTP 后推理速度提升 2.5 倍,48GB 显存可跑 26 万上下文

这篇帖子来自 Reddit 的 r/LocalLLaMA,作者分享了一个 llama.cpp 的 PR,为 Qwen 3.6 27B 模型添加了 MTP(多令牌预测)支持,实测推理速度提升了 2.5 倍。在 Mac M2 Max 96GB 上达到了 28 tok/s 的生成速度。

推荐理由:llama.cpp 的 PR 为 Qwen 3.6 27B 加入 MTP 支持,实测推理提速 2.5 倍,并在 48GB 显存下支持 26 万上下文,为本地 agentic coding 提供了可参考的配置方案。

机器之心 · 公众号

阿里开源 PromptEcho:用冻结的视觉语言模型给文生图训练打分,省掉额外训练成本

PromptEcho 的做法很直接:拿一个现成的、参数冻结的 Qwen3-VL-32B 模型,让它“读”一遍原始提示词,算出模型自己生成这些词的概率(交叉熵),然后把这个概率的负值当作连续奖励信号,喂给文生图模型做训练。好处是不用再单独训一个评分模型,省事。在 5000 张海报测试里,文字准确率从 68% 提到了 75%。

推荐理由:阿里开源 PromptEcho,用冻结的 Qwen3-VL-32B 直接生成连续奖励信号,省去单独训练评分模型,在 5000 张海报测试中把文字准确率从 68% 提到 75%。

机器之心 · 公众号

明略开源两套工具,让 Mac 跑本地模型和操控桌面

明略科技放出了两个开源项目:Cider 和 Mano-P 1.0,都是给苹果 M 系列芯片用的。Cider 是个推理加速引擎,在 M5 Pro 上跑 Qwen3-VL-2B 时,把生成第一个 token 前的等待时间缩短了 57% 到 61%。Mano-P 1.0 是个能操作电脑界面的模型,72B 版本在 OSWorld 测试里拿了 58.2 分。

推荐理由:明略科技开源 Cider 与 Mano-P 1.0,前者在 M5 Pro 上把 Qwen3-VL-2B 的首 token 等待缩短约六成,后者 72B 版本在 OSWorld 拿到 58.2 分。

新智元 · 公众号

GPT-5.5 Instant 成了 ChatGPT 的免费默认模型

OpenAI 把 GPT-5.5 Instant 设成了 ChatGPT 的默认模型,所有用户都能免费用。AIME 2025 的得分从 65.4% 涨到 81.2%,回答长度缩短了 30.2%,在高风险提示上的幻觉率比 GPT-5.3 Instant 低了 52.5%。Plus 和 Pro 的网页用户会先拿到聊天、文件和 Gmail 的个性化功能。

推荐理由:OpenAI 把 GPT-5.5 Instant 设为 ChatGPT 默认模型并向所有用户免费开放,AIME 2025 得分从 65.4% 升至 81.2%,高风险提示幻觉率比上一版低 52.5%。

The Verge · AI

苹果可能在 iOS 27 里让你自己选 AI 模型

Mark Gurman 爆料,苹果计划在 iOS 27、iPadOS 27 和 macOS 27 里开放“扩展”机制,让第三方聊天机器人接管 Siri、写作工具和图片生成这些系统级功能,不再只绑死 ChatGPT。用户能把自己常用的模型设成默认。不过原文没提会支持哪些模型、怎么收费、开发者接口长什么样,这些关键信息都还缺着,先别太激动。

推荐理由:苹果计划在 iOS 27 等系统中开放扩展机制,让第三方聊天机器人接管 Siri 等系统功能并可由用户设为默认,这为观察系统级 AI 入口的开放路径提供了具体线索。

5月5日星期二

r/LocalLLaMA

SenseNova-U1-8B-MoT 开源多模态架构引发讨论,去掉 VE 和 VAE 的单体设计是亮点还是噱头?

商汤开源了一个叫 SenseNova-U1-8B-MoT 的 8B 多模态模型,能理解图文也能直接生成图片。它最特别的地方是用了 NEO-Unify 架构,把传统多模态模型里常见的 VE(视觉编码器)和 VAE(变分自编码器)都去掉了,支持图文交错生成和高密度渲染。

推荐理由:商汤开源 8B 多模态模型 SenseNova-U1-8B-MoT,其 NEO-Unify 架构去掉视觉编码器和变分自编码器,把图文理解与图像生成放进同一模型,为多模态架构设计提供了一种不同取舍。

The Verge · AI

郭明錤爆料 OpenAI 正在给 ChatGPT 做手机,计划 2027 年初量产

天风国际分析师郭明錤说,OpenAI 正在加速推进一款 ChatGPT 手机,目标是 2027 年初开始大规模生产。这款手机会用联发科定制的天玑 9600 芯片,图像处理器(ISP)专门加强了 HDR 能力,可能是为了提升相机和视觉识别体验。不过,原文没提手机卖多少钱、长什么样、用什么操作系统。

推荐理由:郭明錤披露 OpenAI 正推进 ChatGPT 手机,目标 2027 年初量产,采用联发科定制天玑 9600 芯片与强化 HDR 的 ISP,给出了 OpenAI 从软件走向硬件的一个具体时间与供应链轮廓。

TechCrunch · AI

Meta 要用 AI 看身高和骨骼结构来判断用户是不是未成年

Meta 正在部分国家上线一套视觉分析系统,通过照片估算用户的身高和骨骼发育程度,来抓出谎报年龄的未成年用户。公司说后续会推到更多地区,但正文没披露具体是哪些国家、误判率有多高,也没提用户如果被误判后怎么申诉。

推荐理由:Meta 在部分国家上线视觉分析系统,用照片估算身高和骨骼发育程度来识别谎报年龄的未成年用户,年龄核验从自报转向身体特征推断。

5月4日星期一

机器之心 · 公众号

ACL 2026:港理工开源“会思考”的手语翻译模型 SignThought,不用中间标注直接出文字

香港理工大学和四川大学搞了个叫 SignThought 的手语翻译模型,中了 ACL 2026 主会,还被推荐做口头报告。它最大的不同是不依赖“手语注释”(gloss),直接看视频出文字,省掉了中间那层人工标注。

推荐理由:ACL 2026 Main 接收并拟推荐口头报告,加上开源模型和新数据集,H、K、R 三项都站得住。方法有具体拆解,五个 benchmark 验证,不是空对空。手语翻译这个细分方向让它比通用多模态模型或开发者工具的关注度低一些,所以重要性没给更高。

r/LocalLLaMA

一个 4.5 亿参数的视觉模型在卫星上跑野火检测,瓶颈不是模型质量,是带宽

作者 PauLabartaBajo 搭了一套端到端的野火预防管线,把 4.5 亿参数的视觉语言模型 LFM2.5-VL 直接部署在卫星上做推理。核心约束是卫星下行带宽太窄,传不了大尺寸多光谱图像,所以方案反过来:在轨跑模型,只下传一份 JSON 格式的风险评估结果。

推荐理由:作者把 4.5 亿参数的视觉语言模型直接部署在卫星上做野火推理,只下传 JSON 风险评估结果,绕开了下行带宽对多光谱图像的传输限制。

5月3日星期日

量子位 · 公众号

清华 AIR 开源具身智能仿真框架 GS-Playground,一块 4090 能同时跑 2048 个场景

清华 AIR DISCOVER 实验室和合作方开源了 GS-Playground,已被 RSS 2026 接收。这个框架把批量 3D 高斯泼溅渲染和并行物理引擎绑在一起,专门解决机器人训练时视觉仿真的算力瓶颈。在 RTX 4090 上,640×480 分辨率能跑到每秒一万帧,同时并行跑 2048 个场景。

推荐理由:清华 AIR 与合作方开源的 GS-Playground 把批量 3D 高斯泼溅渲染与并行物理引擎耦合,单张 RTX 4090 在 640×480 下达到每秒一万帧并同时跑 2048 个场景。

r/LocalLLaMA

M1 Max 本地跑 10 个生图模型横评:Qwen-Image 蒸馏版 8 步出图比原版快 9 倍

一位 Reddit 用户在自己的 M1 Max(64GB 内存)上测了 10 个图像模型,从 SD 1.5 一路测到 Flux dev、Qwen-Image 和 Gemini。Qwen-Image Lightning 用 8 步蒸馏把出图时间从 93 分钟压到 10 分钟,效果还比原版好。

推荐理由:Reddit 用户用 M1 Max 实测 10 个图像模型,Qwen-Image Lightning 靠 8 步蒸馏把出图从 93 分钟压到 10 分钟,本地部署的提速路径由此有了具体样本。

TechCrunch · AI

奥斯卡新规:AI 生成的演员和剧本不能拿奖了

美国电影艺术与科学学院给第 99 届奥斯卡定了新规矩,直接把 AI 生成的表演和剧本挡在门外。规则写得很明白:能提名表演奖的,必须是片尾字幕里合法署名、且由真人同意后完成的演出;剧本也得是“人类写的”才有资格。学院还留了一手,有权随时要求片方交代电影里用了多少 AI、人的创作占了多少。

推荐理由:美国电影艺术与科学学院为第 99 届奥斯卡定下新规,AI 生成的表演和剧本不再具备提名资格,表演须由真人署名并同意完成,剧本须由人类撰写。

5月2日星期六

r/LocalLLaMA

Qwen 3.6 跑分赢,但 Gemma 4 实际用起来更省心:本地跑 27B/31B 视觉模型的 7 条实测发现

一位 Reddit 用户把 Qwen 3.6 和 Gemma 4 的 27B/31B 视觉模型拉到本地,用 vLLM 跑 FP8 精度对比。Qwen 在 GeoGuessr 这种难图上一次推理能烧掉 8000 多个 token,Gemma 经常 1500 个就搞定;Qwen 做视频还得先花 2 FPS 预处理。

推荐理由:一位 Reddit 用户用 vLLM 在本地对比 Qwen 3.6 与 Gemma 4 的 27B/31B 视觉模型,Qwen 在难图上单次推理耗 8000 多 token,Gemma 常 1500 个就完成。

5月1日星期五

新智元 · 公众号

一个开发者用10天婚假做了个AI世界生成器,一句话就能生成会自己运转的小镇

这个叫WorldX的项目,你输入一句话,它大概5分钟就能生成一个完整的AI世界。背后是一套6步地图生成流程,每个世界消耗约3万到18万个token。里面的NPC有自己的两层记忆和双轴情绪,会按Tick循环自主行动。比较有意思的是它用叠加标签加色差定位来做确定性坐标,让角色能真正走到具体位置而不是大概描述。

推荐理由:开发者用10天婚假做出WorldX,输入一句话约5分钟生成完整AI世界,文中披露6步地图生成流程、token消耗区间和确定性坐标方案,可供做世界生成与NPC记忆的人参考。

量子位 · 公众号

北大和快手可灵开源 OpenWorldLib,一个框架想统一视频生成、3D、机器人控制和推理

正文因为微信环境异常被拦截了,实际内容没抓到。从现有标题和英文摘要看,北大 DCAI 和快手可灵开源了一个叫 OpenWorldLib 的统一世界模型框架,把视频生成、3D 建模、VLA 机器人控制、多模态推理四类任务塞进一套 Pipeline 里。Pipeline 里分了 Operator、推理、合成、表征和记忆几个模块,支持前向和流式执行。

推荐理由:北大 DCAI 与快手可灵开源 OpenWorldLib,把视频生成、3D 建模、VLA 机器人控制与多模态推理四类任务纳入同一套 Pipeline,并给出 Operator、推理、合成、表征和记忆的模块划分。

r/LocalLLaMA

Qwen3.6-27B 在单张 RTX 3090 上跑到 21.8 万上下文,工具调用也稳了

一位 Reddit 用户用一张 24GB 显存的 RTX 3090 跑 Qwen3.6-27B(一个 270 亿参数的模型),把上下文窗口推到了约 21.8 万个 token,生成速度在每秒 50 到 66 个 token 之间。

推荐理由:一位 Reddit 用户用单张 24GB 的 RTX 3090 把 Qwen3.6-27B 的上下文推到约 21.8 万 token,生成速度每秒 50 到 66 个 token,并修复了工具调用的显存溢出问题。

4月30日星期四

r/LocalLLaMA

DeepSeek 放出了“用视觉原语思考”框架,让模型在推理时直接画坐标和框

DeepSeek 和北大、清华一起发了篇论文,还公开了代码库。这个框架的思路是在思维链里插入坐标点和边界框,相当于让模型边想边在图上做标记。帖子本身没贴跑分数据,正文也没披露具体指标,所以效果到底提升多少还不清楚。

推荐理由:DeepSeek 联合北大、清华发布论文并开源代码,把坐标点和边界框作为推理单元插入思维链,为多模态推理提供了一种可迁移的标记式方法。

Hacker News 首页

Meta 因智能眼镜隐私争议终止肯尼亚外包合同,上千名数据标注员失业

BBC 报道,Meta 在瑞典媒体曝光其智能眼镜用户被拍到上厕所、发生性关系等私密画面后,终止了与肯尼亚外包公司 Sama 的合同,导致 1108 名员工被裁。这些员工的工作是给 AI 做数据标注,也就是人工查看眼镜拍下的视频和对话记录,教 AI 识别图像、改进回答。

推荐理由:Meta 因智能眼镜拍下的私密画面遭曝光,终止与肯尼亚外包公司 Sama 的合同,1108 名负责审核这些画面的数据标注员被裁,事件把 AI 硬件内容审核的人力环节与隐私风险连在一起。

Google DeepMind

Google DeepMind 发布 AI co-clinician 医疗研究计划

Google DeepMind 宣布 AI co-clinician 研究计划,探索 AI 智能体在医生临床监督下协助患者诊疗。在 98 个真实初级保健查询的盲评中,该系统 97 例无关键错误,医生更偏好其回答而非主流证据综合工具;在 140 项问诊技能评估中,它在 68 项达到或超过初级保健医生水平,但专家医生在识别危险信号和关键体格检查上整体仍更优。

推荐理由:Google DeepMind 公布 AI co-clinician 研究计划,在 98 个真实初级保健查询的盲评中 97 例无关键错误,医生更偏好其回答而非主流证据综合工具。

量子位 · 公众号

新加坡国立等团队提出 ViF,专治多智能体协作时的视觉幻觉传染

多智能体系统里有个麻烦:一个模型看图说话出错,把错误描述传给下一个模型,下一个模型再添油加醋,幻觉就像滚雪球一样越滚越大。新加坡国立大学 LV-Lab 等团队搞了个叫 ViF 的方法,不改造模型本身,即插即用。核心思路是不再只传文字,而是把视觉信息打包成“视觉接力令牌”塞进对话流里,同时用分层注意力重分配让模型多看该看的地方。

推荐理由:新加坡国立大学等团队提出 ViF,把视觉信息打包成中继令牌放进多智能体对话流,不改模型即可缓解文字传递导致的幻觉累积。

The Verge · AI

Google 搜索量上季度创历史新高,但没公布具体数字

Alphabet 一季度财报电话会上,CEO Sundar Pichai 说 Google 搜索的查询量达到了“历史最高”,搜索广告收入涨了 19%。他把增长归因于 AI 功能(比如 AI Overviews 那种直接在搜索结果顶部给答案的体验)和 Gemini App 的拉动。

推荐理由:Alphabet 在财报电话会上称 Google 搜索查询量达到历史最高,搜索广告收入同比增长 19%,并将增长归因于 AI Overviews 与 Gemini App 的拉动。

Hacker News 首页

SOB 基准测试:专门给大模型的结构化输出能力挑错

Interfaze 发布了一个叫 SOB 的基准测试,专门看大模型从文本、图片、音频里提取信息并输出成 JSON 时,到底靠不靠谱。它不像老测试只看 JSON 格式对不对,而是重点查字段里的值准不准——比如发票金额有没有瞎编。测试覆盖了 5000 条文本、209 张图片和 115 段音频,每道题都有人工核对过的标准答案。

推荐理由:Interfaze 发布 SOB 基准,用 5000 条文本、209 张图片和 115 段音频测大模型结构化输出,重点查字段值是否准确而非仅 JSON 格式。

4月29日星期三

r/LocalLLaMA

Mistral 发布 1280 亿参数模型,支持图文输入和函数调用,高收入公司商用需额外授权

Mistral AI 在 Hugging Face 上放出了 Mistral Medium 3.5,一个 1280 亿参数的稠密模型,上下文窗口拉到 25.6 万 token。它能吃文本和图片,支持函数调用和 JSON 格式输出,推理强度可以按请求设成“无”或“高”。

推荐理由:Mistral AI 在 Hugging Face 发布 1280 亿参数稠密模型 Mistral Medium 3.5,支持图文输入、函数调用与可调推理强度,上下文窗口达 25.6 万 token。

X · @op7418(歸藏)

DeepSeek 多模态模型全量上线,网页版识图模式能用了

DeepSeek 把多模态模型全量推上线了,现在打开网页版就能用识图模式。从体验看,这应该是一个独立的多模态模型,不是把图片转文字再丢给纯文本模型那种拼接方案。正文没披露模型名字、参数量、定价和 API 开放时间,这些关键信息都还缺着,想接进自己流程的朋友得再等等。

推荐理由:DeepSeek 将多模态模型全量上线,网页版识图模式已可直接使用,从体验看是独立多模态模型而非图片转文字拼接方案。

新智元 · 公众号

谷歌翻译 20 岁,劈柴哥说它换了四代 AI,现在能直接听懂语气了

劈柴哥发帖庆祝谷歌翻译上线 20 年,月活用户到了 10 亿。他梳理了背后的四代技术:最早是统计机器翻译,2016 年换成神经网络翻译,后来用上 PaLM 2 大模型,2024 年一口气加了 110 种语言。最新的是 Gemini 2.5 Flash 的原生音频翻译,不再先把语音转文字再翻译,而是直接处理声音,能保留原话的语调、停顿和节奏。

推荐理由:谷歌翻译上线 20 年,劈柴哥梳理其从统计机器翻译到 Gemini 2.5 Flash 原生音频翻译的四代技术更替,最新方案直接处理声音以保留语调与节奏。

新智元 · 公众号

生数科技 MotuBrain 在 WorldArena 和 RoboTwin2.0 两个榜单同时登顶

生数科技新模型 MotuBrain 拿了两个第一:在 WorldArena 世界模型榜单上得分 63.77 EWM,在 RoboTwin2.0 的干净和随机两个测试里分别拿到 95.8 和 96.1 分。

推荐理由:生数科技 MotuBrain 在 WorldArena 与 RoboTwin2.0 两个榜单同时登顶,WorldArena 得分 63.77 EWM,RoboTwin2.0 干净与随机测试分别为 95.8 和 96.1 分。