跳到正文

多模态

文本之外的能力:视觉理解、图文混合、音视频输入输出的模型与产品进展。

592 条精选相关主题图像生成AI 视频语音与音频

最新精选

第 421–440 条 · 共 592 条

5月6日星期三

机器之心 · 公众号

明略开源两套工具,让 Mac 跑本地模型和操控桌面

明略科技放出了两个开源项目:Cider 和 Mano-P 1.0,都是给苹果 M 系列芯片用的。Cider 是个推理加速引擎,在 M5 Pro 上跑 Qwen3-VL-2B 时,把生成第一个 token 前的等待时间缩短了 57% 到 61%。Mano-P 1.0 是个能操作电脑界面的模型,72B 版本在 OSWorld 测试里拿了 58.2 分。

推荐理由:明略科技开源 Cider 与 Mano-P 1.0,前者在 M5 Pro 上把 Qwen3-VL-2B 的首 token 等待缩短约六成,后者 72B 版本在 OSWorld 拿到 58.2 分。

新智元 · 公众号

GPT-5.5 Instant 成了 ChatGPT 的免费默认模型

OpenAI 把 GPT-5.5 Instant 设成了 ChatGPT 的默认模型,所有用户都能免费用。AIME 2025 的得分从 65.4% 涨到 81.2%,回答长度缩短了 30.2%,在高风险提示上的幻觉率比 GPT-5.3 Instant 低了 52.5%。Plus 和 Pro 的网页用户会先拿到聊天、文件和 Gmail 的个性化功能。

推荐理由:OpenAI 把 GPT-5.5 Instant 设为 ChatGPT 默认模型并向所有用户免费开放,AIME 2025 得分从 65.4% 升至 81.2%,高风险提示幻觉率比上一版低 52.5%。

The Verge · AI

苹果可能在 iOS 27 里让你自己选 AI 模型

Mark Gurman 爆料,苹果计划在 iOS 27、iPadOS 27 和 macOS 27 里开放“扩展”机制,让第三方聊天机器人接管 Siri、写作工具和图片生成这些系统级功能,不再只绑死 ChatGPT。用户能把自己常用的模型设成默认。不过原文没提会支持哪些模型、怎么收费、开发者接口长什么样,这些关键信息都还缺着,先别太激动。

推荐理由:苹果计划在 iOS 27 等系统中开放扩展机制,让第三方聊天机器人接管 Siri 等系统功能并可由用户设为默认,这为观察系统级 AI 入口的开放路径提供了具体线索。

5月5日星期二

r/LocalLLaMA

SenseNova-U1-8B-MoT 开源多模态架构引发讨论,去掉 VE 和 VAE 的单体设计是亮点还是噱头?

商汤开源了一个叫 SenseNova-U1-8B-MoT 的 8B 多模态模型,能理解图文也能直接生成图片。它最特别的地方是用了 NEO-Unify 架构,把传统多模态模型里常见的 VE(视觉编码器)和 VAE(变分自编码器)都去掉了,支持图文交错生成和高密度渲染。

推荐理由:商汤开源 8B 多模态模型 SenseNova-U1-8B-MoT,其 NEO-Unify 架构去掉视觉编码器和变分自编码器,把图文理解与图像生成放进同一模型,为多模态架构设计提供了一种不同取舍。

The Verge · AI

郭明錤爆料 OpenAI 正在给 ChatGPT 做手机,计划 2027 年初量产

天风国际分析师郭明錤说,OpenAI 正在加速推进一款 ChatGPT 手机,目标是 2027 年初开始大规模生产。这款手机会用联发科定制的天玑 9600 芯片,图像处理器(ISP)专门加强了 HDR 能力,可能是为了提升相机和视觉识别体验。不过,原文没提手机卖多少钱、长什么样、用什么操作系统。

推荐理由:郭明錤披露 OpenAI 正推进 ChatGPT 手机,目标 2027 年初量产,采用联发科定制天玑 9600 芯片与强化 HDR 的 ISP,给出了 OpenAI 从软件走向硬件的一个具体时间与供应链轮廓。

TechCrunch · AI

Meta 要用 AI 看身高和骨骼结构来判断用户是不是未成年

Meta 正在部分国家上线一套视觉分析系统,通过照片估算用户的身高和骨骼发育程度,来抓出谎报年龄的未成年用户。公司说后续会推到更多地区,但正文没披露具体是哪些国家、误判率有多高,也没提用户如果被误判后怎么申诉。

推荐理由:Meta 在部分国家上线视觉分析系统,用照片估算身高和骨骼发育程度来识别谎报年龄的未成年用户,年龄核验从自报转向身体特征推断。

5月4日星期一

机器之心 · 公众号

ACL 2026:港理工开源“会思考”的手语翻译模型 SignThought,不用中间标注直接出文字

香港理工大学和四川大学搞了个叫 SignThought 的手语翻译模型,中了 ACL 2026 主会,还被推荐做口头报告。它最大的不同是不依赖“手语注释”(gloss),直接看视频出文字,省掉了中间那层人工标注。

推荐理由:ACL 2026 Main 接收并拟推荐口头报告,加上开源模型和新数据集,H、K、R 三项都站得住。方法有具体拆解,五个 benchmark 验证,不是空对空。手语翻译这个细分方向让它比通用多模态模型或开发者工具的关注度低一些,所以重要性没给更高。

r/LocalLLaMA

一个 4.5 亿参数的视觉模型在卫星上跑野火检测,瓶颈不是模型质量,是带宽

作者 PauLabartaBajo 搭了一套端到端的野火预防管线,把 4.5 亿参数的视觉语言模型 LFM2.5-VL 直接部署在卫星上做推理。核心约束是卫星下行带宽太窄,传不了大尺寸多光谱图像,所以方案反过来:在轨跑模型,只下传一份 JSON 格式的风险评估结果。

推荐理由:作者把 4.5 亿参数的视觉语言模型直接部署在卫星上做野火推理,只下传 JSON 风险评估结果,绕开了下行带宽对多光谱图像的传输限制。

5月3日星期日

量子位 · 公众号

清华 AIR 开源具身智能仿真框架 GS-Playground,一块 4090 能同时跑 2048 个场景

清华 AIR DISCOVER 实验室和合作方开源了 GS-Playground,已被 RSS 2026 接收。这个框架把批量 3D 高斯泼溅渲染和并行物理引擎绑在一起,专门解决机器人训练时视觉仿真的算力瓶颈。在 RTX 4090 上,640×480 分辨率能跑到每秒一万帧,同时并行跑 2048 个场景。

推荐理由:清华 AIR 与合作方开源的 GS-Playground 把批量 3D 高斯泼溅渲染与并行物理引擎耦合,单张 RTX 4090 在 640×480 下达到每秒一万帧并同时跑 2048 个场景。

r/LocalLLaMA

M1 Max 本地跑 10 个生图模型横评:Qwen-Image 蒸馏版 8 步出图比原版快 9 倍

一位 Reddit 用户在自己的 M1 Max(64GB 内存)上测了 10 个图像模型,从 SD 1.5 一路测到 Flux dev、Qwen-Image 和 Gemini。Qwen-Image Lightning 用 8 步蒸馏把出图时间从 93 分钟压到 10 分钟,效果还比原版好。

推荐理由:Reddit 用户用 M1 Max 实测 10 个图像模型,Qwen-Image Lightning 靠 8 步蒸馏把出图从 93 分钟压到 10 分钟,本地部署的提速路径由此有了具体样本。

TechCrunch · AI

奥斯卡新规:AI 生成的演员和剧本不能拿奖了

美国电影艺术与科学学院给第 99 届奥斯卡定了新规矩,直接把 AI 生成的表演和剧本挡在门外。规则写得很明白:能提名表演奖的,必须是片尾字幕里合法署名、且由真人同意后完成的演出;剧本也得是“人类写的”才有资格。学院还留了一手,有权随时要求片方交代电影里用了多少 AI、人的创作占了多少。

推荐理由:美国电影艺术与科学学院为第 99 届奥斯卡定下新规,AI 生成的表演和剧本不再具备提名资格,表演须由真人署名并同意完成,剧本须由人类撰写。

5月2日星期六

r/LocalLLaMA

Qwen 3.6 跑分赢,但 Gemma 4 实际用起来更省心:本地跑 27B/31B 视觉模型的 7 条实测发现

一位 Reddit 用户把 Qwen 3.6 和 Gemma 4 的 27B/31B 视觉模型拉到本地,用 vLLM 跑 FP8 精度对比。Qwen 在 GeoGuessr 这种难图上一次推理能烧掉 8000 多个 token,Gemma 经常 1500 个就搞定;Qwen 做视频还得先花 2 FPS 预处理。

推荐理由:一位 Reddit 用户用 vLLM 在本地对比 Qwen 3.6 与 Gemma 4 的 27B/31B 视觉模型,Qwen 在难图上单次推理耗 8000 多 token,Gemma 常 1500 个就完成。

5月1日星期五

新智元 · 公众号

一个开发者用10天婚假做了个AI世界生成器,一句话就能生成会自己运转的小镇

这个叫WorldX的项目,你输入一句话,它大概5分钟就能生成一个完整的AI世界。背后是一套6步地图生成流程,每个世界消耗约3万到18万个token。里面的NPC有自己的两层记忆和双轴情绪,会按Tick循环自主行动。比较有意思的是它用叠加标签加色差定位来做确定性坐标,让角色能真正走到具体位置而不是大概描述。

推荐理由:开发者用10天婚假做出WorldX,输入一句话约5分钟生成完整AI世界,文中披露6步地图生成流程、token消耗区间和确定性坐标方案,可供做世界生成与NPC记忆的人参考。

量子位 · 公众号

北大和快手可灵开源 OpenWorldLib,一个框架想统一视频生成、3D、机器人控制和推理

正文因为微信环境异常被拦截了,实际内容没抓到。从现有标题和英文摘要看,北大 DCAI 和快手可灵开源了一个叫 OpenWorldLib 的统一世界模型框架,把视频生成、3D 建模、VLA 机器人控制、多模态推理四类任务塞进一套 Pipeline 里。Pipeline 里分了 Operator、推理、合成、表征和记忆几个模块,支持前向和流式执行。

推荐理由:北大 DCAI 与快手可灵开源 OpenWorldLib,把视频生成、3D 建模、VLA 机器人控制与多模态推理四类任务纳入同一套 Pipeline,并给出 Operator、推理、合成、表征和记忆的模块划分。

r/LocalLLaMA

Qwen3.6-27B 在单张 RTX 3090 上跑到 21.8 万上下文,工具调用也稳了

一位 Reddit 用户用一张 24GB 显存的 RTX 3090 跑 Qwen3.6-27B(一个 270 亿参数的模型),把上下文窗口推到了约 21.8 万个 token,生成速度在每秒 50 到 66 个 token 之间。

推荐理由:一位 Reddit 用户用单张 24GB 的 RTX 3090 把 Qwen3.6-27B 的上下文推到约 21.8 万 token,生成速度每秒 50 到 66 个 token,并修复了工具调用的显存溢出问题。

4月30日星期四

r/LocalLLaMA

DeepSeek 放出了“用视觉原语思考”框架,让模型在推理时直接画坐标和框

DeepSeek 和北大、清华一起发了篇论文,还公开了代码库。这个框架的思路是在思维链里插入坐标点和边界框,相当于让模型边想边在图上做标记。帖子本身没贴跑分数据,正文也没披露具体指标,所以效果到底提升多少还不清楚。

推荐理由:DeepSeek 联合北大、清华发布论文并开源代码,把坐标点和边界框作为推理单元插入思维链,为多模态推理提供了一种可迁移的标记式方法。

Hacker News 首页

Meta 因智能眼镜隐私争议终止肯尼亚外包合同,上千名数据标注员失业

BBC 报道,Meta 在瑞典媒体曝光其智能眼镜用户被拍到上厕所、发生性关系等私密画面后,终止了与肯尼亚外包公司 Sama 的合同,导致 1108 名员工被裁。这些员工的工作是给 AI 做数据标注,也就是人工查看眼镜拍下的视频和对话记录,教 AI 识别图像、改进回答。

推荐理由:Meta 因智能眼镜拍下的私密画面遭曝光,终止与肯尼亚外包公司 Sama 的合同,1108 名负责审核这些画面的数据标注员被裁,事件把 AI 硬件内容审核的人力环节与隐私风险连在一起。

Google DeepMind

Google DeepMind 发布 AI co-clinician 医疗研究计划

Google DeepMind 宣布 AI co-clinician 研究计划,探索 AI 智能体在医生临床监督下协助患者诊疗。在 98 个真实初级保健查询的盲评中,该系统 97 例无关键错误,医生更偏好其回答而非主流证据综合工具;在 140 项问诊技能评估中,它在 68 项达到或超过初级保健医生水平,但专家医生在识别危险信号和关键体格检查上整体仍更优。

推荐理由:Google DeepMind 公布 AI co-clinician 研究计划,在 98 个真实初级保健查询的盲评中 97 例无关键错误,医生更偏好其回答而非主流证据综合工具。

量子位 · 公众号

新加坡国立等团队提出 ViF,专治多智能体协作时的视觉幻觉传染

多智能体系统里有个麻烦:一个模型看图说话出错,把错误描述传给下一个模型,下一个模型再添油加醋,幻觉就像滚雪球一样越滚越大。新加坡国立大学 LV-Lab 等团队搞了个叫 ViF 的方法,不改造模型本身,即插即用。核心思路是不再只传文字,而是把视觉信息打包成“视觉接力令牌”塞进对话流里,同时用分层注意力重分配让模型多看该看的地方。

推荐理由:新加坡国立大学等团队提出 ViF,把视觉信息打包成中继令牌放进多智能体对话流,不改模型即可缓解文字传递导致的幻觉累积。

The Verge · AI

Google 搜索量上季度创历史新高,但没公布具体数字

Alphabet 一季度财报电话会上,CEO Sundar Pichai 说 Google 搜索的查询量达到了“历史最高”,搜索广告收入涨了 19%。他把增长归因于 AI 功能(比如 AI Overviews 那种直接在搜索结果顶部给答案的体验)和 Gemini App 的拉动。

推荐理由:Alphabet 在财报电话会上称 Google 搜索查询量达到历史最高,搜索广告收入同比增长 19%,并将增长归因于 AI Overviews 与 Gemini App 的拉动。