跳到正文

多模态

文本之外的能力:视觉理解、图文混合、音视频输入输出的模型与产品进展。

592 条精选相关主题图像生成AI 视频语音与音频

最新精选

第 381–400 条 · 共 592 条

5月15日星期五

量子位 · 公众号

160行代码就能跑通LeCun的JEPA世界模型

一个叫keon/jepa的开源教学库把LeCun提出的JEPA世界模型拆成了5个独立变体,每个都用单个PyTorch文件实现,最短160行,最长278行,只依赖PyTorch和torchvision。其中iJEPA在CIFAR-10上跑了100轮,线性探测准确率52.7%,不算高,但胜在代码够短、能跑通。

推荐理由:开源教学库keon/jepa把LeCun的JEPA世界模型拆成5个单文件PyTorch实现,最短160行,其中iJEPA在CIFAR-10上跑完100轮线性探测准确率52.7%。

新智元 · 公众号

谷歌把 Gemini 塞进鼠标指针,指哪就能让 AI 干活,连提示词都不用写

谷歌 DeepMind 放出了一个叫“AI 指针”的实验项目,核心是把 Gemini 模型直接挂在鼠标指针上。你在屏幕上指一个区域,AI 就能理解上下文并执行操作,比如修图或在地图上找地点。目前有两个 Demo 在 Google AI Studio 里能玩:一个是图片编辑,另一个是地图地点查找。

推荐理由:谷歌 DeepMind 把 Gemini 挂在鼠标指针上,指哪就能让 AI 理解上下文并执行修图或找地点,两个 Demo 已在 AI Studio 开放体验。

5月14日星期四

r/LocalLLaMA

单卡跑通一句话生成电影级短片:FLUX.2 出角色,Wan2.2 做动画,带自动质检和 9 语配音

这个叫 StudioMI300 的开源流水线,把一句英文提示词变成 720p 短片,全程跑在一张 AMD Instinct MI300X 上。流程分 8 步:先用 FLUX.2 [klein] 生成角色关键帧,再用 Wan2.2-I2V 把静态图转成动画,中间加了一道视觉评分和自动重试的质检,最后配上音乐和 9 种语言的旁白。

推荐理由:StudioMI300 把一句提示词到 720p 短片的 8 步流程跑在一张 MI300X 上,其中视觉评分与自动重试环节用于控制成片质量。

MIT Technology Review · AI

看到自己的身体被用在 AI 换脸色情片里是什么感觉

MIT Technology Review 这篇报道讲的是成人内容创作者的身体被拿去喂 AI 做深度伪造色情片的问题。主角 Jennifer 在 2023 年用人脸识别搜自己以前的职业照,结果发现一段她 2013 年左右拍的旧视频被人换了脸——她的身体还在,脸是别人的。她说那种感觉就像自己戴着别人的脸当面具。

推荐理由:MIT Technology Review 记录成人内容创作者 Jennifer 发现旧视频被换脸后身体仍在、脸已易主,把非自愿合成色情落到具体个人的经历上。

新智元 · 公众号

OpenAI 企业市场王座被 Anthropic 踹了,三年头一回

根据 Ramp 从 5 万多家公司的信用卡和发票支出里拉出来的数据,Anthropic 的企业市场份额冲到了 34.4%,OpenAI 掉到 32.3%,这是 OpenAI 三年来第一次在这个指标上被反超。

推荐理由:Ramp 从 5 万多家公司的信用卡和发票支出中统计出,Anthropic 企业市场份额升至 34.4%,OpenAI 降至 32.3%,这是 OpenAI 三年来在该指标上第一次被反超。

量子位 · 公众号

Scale AI 创始人 Alexandr Wang 回应 LeCun、Manus 争议,并透露 Meta 用九个月重写了预训练、强化学习和数据管线

Alexandr Wang 在访谈里回应了几个近期争议。关于 LeCun 对 Scale AI 的批评,他直接说对方“没搞清楚我们在做什么”。谈到 Manus 时,他评价产品体验不错,但技术上没有看到根本性突破。他还确认 Meta 在过去九个月里把预训练、强化学习和数据处理三套系统全部重写了一遍,这个速度在业内算很快。

推荐理由:Alexandr Wang 在访谈中回应 LeCun 与 Manus 的争议,并确认 Meta 用九个月重写了预训练、强化学习和数据处理三套系统。

机器之心 · 公众号

灵初智能用10万小时人类操作数据训练机器人,但文章正文被验证页挡住了

这篇微信文章标题说灵初智能(PsiBot)用了10万小时的人类操作数据来训练机器人策略,还提到一个叫W0的世界模型只在训练时做迁移,实际部署只跑R2。但页面被环境异常验证拦住了,正文内容完全看不到,没法确认具体怎么采集数据、在什么任务上验证、效果到底怎么样。

推荐理由:灵初智能称用10万小时人类操作数据训练机器人策略,W0世界模型只在训练时做迁移,部署仅运行R2,其数据采集方式与任务验证结果尚无法确认。

AI HOT 精选

Anthropic 发布 Claude 电脑与浏览器操控最佳实践,附不同模型截图分辨率上限

Anthropic 给开发者写了一份指南,讲怎么让 Claude 去操作电脑和浏览器。里面给了两个硬指标:用 Claude 4.6 API 时,截图长边不能超过 1568 像素,总像素控制在 115 万以内;换到 Opus 4.7,上限放宽到长边 2576 像素、总像素 375 万。分辨率越高模型能看到的界面细节越多,但推理成本也会跟着涨。

推荐理由:Anthropic 为开发者给出 Claude 操控电脑与浏览器的截图分辨率上限,并对比 Claude 4.6 与 Opus 4.7 两档参数,涉及细节可见度与推理成本的取舍。

AI HOT 精选

Runway 发布 Agent:用对话直接生成带配音和音乐的多镜头视频

Runway 新推出的 Agent 把视频制作变成了一轮对话。你描述需求,它先出概念和故事节奏,确认方向后直接生成包含多镜头、旁白、对白和配乐的成品视频,几分钟就能拿到可发布的版本。新用户注册免费计划有 1500 积分可以试做第一条。官方说它主要瞄准品牌广告、社交媒体内容和独立短片这些场景,想解决传统视频制作太慢太贵的问题。

推荐理由:Runway 推出 Agent,用一轮对话就能生成带多镜头、旁白、对白和配乐的视频,瞄准品牌广告、社交媒体内容和独立短片这些传统制作慢且贵的场景。

r/LocalLLaMA

商汤发布 SenseNova-U1-A3B-MoT,一个模型搞定看图、推理和生成

商汤在 Hugging Face 上放出了 SenseNova-U1-A3B-MoT 模型,同时提供了 A3B MoT、8B MoT 和 0.4B LoRA 权重链接。按官方说法,这套模型用 NEO-unify 架构把多模态理解、推理和生成统一到一个模型家族里。

推荐理由:商汤在 Hugging Face 放出 SenseNova-U1-A3B-MoT 系列权重,用 NEO-unify 架构把多模态理解、推理和生成收进同一模型家族,并同时提供 0.4B LoRA 权重。

5月13日星期三

r/LocalLLaMA

阿里达摩院放出 Ovis2.6-80B-A3B:总参数 800 亿,推理时只激活约 30 亿的多模态 MoE 模型

Ovis2.6 把语言模型底座换成了混合专家架构,总参数量堆到 800 亿,但推理时只叫醒大概 30 亿个参数,跑起来比较省算力。上下文窗口拉到 64K token,能处理的图片分辨率最高到 2880×2880,适合啃长文档、高信息密度的图表和扫描件。

推荐理由:阿里达摩院开源 Ovis2.6-80B-A3B,800 亿总参数的多模态 MoE 推理时只激活约 30 亿,并支持 64K 上下文与 2880×2880 图片输入。

量子位 · 公众号

字节提出 GRN,让生图模型像人一样边画边改,不再死磕扩散和自回归

字节跳动的技术团队搞了个叫 GRN(生成式精炼网络)的新架构,想给视觉生成找第三条路,不跟扩散模型和自回归模型硬卷。它的核心思路是让模型先生成一张粗糙的图,再反复精修,就像画师先铺大色块再慢慢抠细节。为了解决反复修图容易把图修糊、错误越攒越多的问题,他们用了三项技术:HBQ(分层二元量化)把图片压成更紧凑的离散编码,减少信息损耗。

推荐理由:字节团队提出 GRN 架构,让视觉生成先出粗图再反复精修,并用 HBQ 分层二元量化压缩离散编码以减少信息损耗,为扩散与自回归之外的第三条路线提供了具体技术方案。

机器之心 · 公众号

林俊旸被曝离职创业,新 AI 实验室估值冲到 20 亿美元

The Information 爆料,阿里通义千问前技术负责人林俊旸正在为一家新 AI 实验室融资,目标融几亿美元,投后估值可能到 20 亿美元。目前实验室具体研究方向、团队规模和最终估值都还没公开。

推荐理由:阿里通义千问前技术负责人林俊旸被曝正为新 AI 实验室融资,投后估值可能达 20 亿美元,头部 AI 人才创业的资本热度由此显现。

AI HOT 精选

商汤发 SenseNova-U1 技术报告,开源一个激活参数仅 30 亿的多模态模型

报告把训练一个原生多模态模型的全流程拆成了六步,从统一建模、无损接视觉信号,到用自回归加像素空间流匹配一起训,再到强化学习后训练和蒸馏,每一步都给了实操细节。开源版本 SenseNova-U1-A3B-MoT 用了混合专家架构,只激活 30 亿参数,主打跑得快、成本低。

推荐理由:商汤发布 SenseNova-U1 技术报告,把原生多模态模型从统一建模到强化学习后训练、蒸馏的六步流程逐项拆开,并开源激活参数 30 亿的混合专家版本。

新智元 · 公众号

清华系开源 MiniCPM-V 4.6:1.3B 多模态模型,一张 4090 就能全量微调

面壁智能、清华和 OpenBMB 放出了 MiniCPM-V 4.6,一个 13 亿参数的多模态模型。它最大的卖点是能在一张 RTX 4090 显卡上完成全量微调,不用再靠低秩适配这类折中方案。模型提供了两种视觉 token 压缩模式:4 倍压缩追求精度,16 倍压缩追求速度,让开发者自己按场景选。

推荐理由:面壁智能、清华与 OpenBMB 开源 13 亿参数的 MiniCPM-V 4.6,单张 RTX 4090 即可全量微调,并提供 4 倍与 16 倍两种视觉 token 压缩模式。

AI HOT 精选

阶跃星辰发了 Step Image Edit 2,35 亿参数在指令修图榜 KRIS-Bench 上拿了综合、事实、概念三项第一

这个 35 亿参数的图像模型在 KRIS-Bench 指令修图评测里,综合、事实和概念三个类别都排第一,跑赢了参数大它五六倍的模型。能干的事包括文生图、按指令改图、中英文文字渲染,以及保持主体一致的风格迁移。官方说生成快、单次编辑成本低,但没给出具体延迟和价格数字。模型已经上线阶跃开放平台,可以直接用。

推荐理由:阶跃星辰发布 35 亿参数的 Step Image Edit 2,在 KRIS-Bench 指令修图评测的综合、事实、概念三项均列第一,成绩超过参数量五六倍的模型。

5月12日星期二

机器之心 · 公众号

字节开源 DreamLite:0.39B 参数模型在 iPhone 上 3 秒出图,不用联网

DreamLite 是字节跳动开源的一个统一扩散模型,参数量只有 3.9 亿,能在 iPhone 17 Pro 上直接跑,生成或编辑一张 1024×1024 的图大约 3 秒。它靠 DMD2 蒸馏技术把推理压缩到 4 步,全程在手机本地完成,不依赖云端。

推荐理由:字节跳动开源 3.9 亿参数的统一扩散模型 DreamLite,在 iPhone 17 Pro 上本地生成或编辑一张 1024×1024 的图约 3 秒,靠 DMD2 蒸馏把推理压到 4 步。

新智元 · 公众号

智元机器人量产破万,人形机器人已在南昌 3C 产线连续干活 8 小时零失误

智元机器人(AgiBot)公布,到 3 月底已出货超过一万台通用具身机器人。在南昌一条 3C 产线上,他们的人形机器人连续工作了 8 小时,按正式节拍要求完成了 2283 项任务,没有出错。不过,文章正文因为微信环境验证被屏蔽了,具体是哪款机型、任务细节和成本都没法看到。

推荐理由:智元机器人公布到3月底出货超一万台通用具身机器人,其机器人在南昌3C产线连续运行8小时完成2283项任务无失误,这条呈现了人形机器人在真实产线的作业节拍与稳定性表现。

Latent Space

Thinking Machines 发布原生交互模型:2760 亿参数,120 亿激活,实时语音不再靠外挂

Thinking Machines 终于又冒泡了,这次直接扔了个新模型 TML-Interaction-Small。总参数 2760 亿,是个 MoE 架构,实际干活时只激活 120 亿参数。它最狠的地方是把实时语音交互做进了模型骨子里,不再像以前那样给大语言模型外挂语音识别和合成模块。

推荐理由:Thinking Machines 发布 TML-Interaction-Small,2760 亿总参数、120 亿激活的 MoE 架构,把实时语音交互直接做进模型,不再外挂语音识别与合成模块。

量子位 · 公众号

OpenClaw 悄悄更新,Peekaboo v3 让龙虾在 Mac 上长出手脚

OpenClaw 的 Peekaboo v3 给 Mac 加了 agent 能力,能直接截取像素级屏幕、读取 UI 位置,然后模拟点击、打字、快捷键、滚动和拖拽。它还把 MCP 服务接进了 Cursor、Claude Code 和 Codex,等于让模型能进桌面软件里干活。正文没披露延迟和准确率数据,这点先别太激动。

推荐理由:OpenClaw 的 Peekaboo v3 为 Mac 加入像素级截屏、UI 定位与模拟点击输入,并把 MCP 服务接入 Cursor、Claude Code 和 Codex,让模型直接操作桌面软件。