跳到正文

多模态

文本之外的能力:视觉理解、图文混合、音视频输入输出的模型与产品进展。

592 条精选相关主题图像生成AI 视频语音与音频

最新精选

第 481–500 条 · 共 592 条

4月21日星期二

Ben's Bites

Claude 新增设计面板,问几个问题就能出原型图

Anthropic 给 Claude 加了一个“设计”标签页,会先弹出 5 到 10 个问题跟你互动,然后直接生成线框图或高保真原型。作者实测发现,传图片转设计的流程在原型模式下效果不错。目前这个功能还在研究预览阶段,有独立的使用额度,20 美元月费套餐一周大概只能跑两三次大尺寸生成。

推荐理由:Anthropic 为 Claude 加入设计标签页,通过 5 到 10 轮问答生成线框图或高保真原型,并披露了研究预览阶段的额度限制。

机器之心 · 公众号

Monet:让多模态模型在脑子里直接画图推理,不用每次都调外部工具

Monet 把 Qwen2.5-VL-7B 改造成 Monet-7B,核心是让模型在连续的视觉潜空间里做抽象推理,而不是每次都去调用外部画图或识别工具。训练分三步:先用 12.5 万条数据做监督微调,再用 VLPO 强化学习对齐偏好。在分布内任务上比原版模型提升 3% 到 9.75%,在分布外的抽象视觉推理上提升 2.31%。

推荐理由:Monet 把 Qwen2.5-VL-7B 改造成在连续视觉潜空间内完成抽象推理的模型,训练分监督微调与 VLPO 强化学习两步,分布内任务提升 3% 到 9.75%。

OpenAI News

OpenAI 发了 ChatGPT Images 2.0,主打文字渲染、多语言和视觉推理

OpenAI 在 4 月 21 日官宣了 ChatGPT Images 2.0,说新模型在三个地方有提升:画面里的文字更准、多语言排版更稳、能根据复杂指令做视觉推理。官方放了一堆样图,从海报、漫画到杂志内页都有,看着确实比上一代强。但正文没披露模型架构、出图分辨率、价格、延迟和具体上线时间,也没给对比数据。

推荐理由:OpenAI 发布 ChatGPT Images 2.0,官方称在画面文字准确性、多语言排版和复杂指令的视觉推理三方面有提升,并放出海报、漫画、杂志内页等样图。

Latent Space

月之暗面发布 Kimi K2.6 开源模型,在长任务执行上对标 Claude Opus 4.6

月之暗面推出了 Kimi K2.6,一个总参数 1 万亿的混合专家模型,每次推理激活 320 亿参数,支持 25.6 万 token 的上下文窗口。它主打的是长时间、多步骤的智能体任务,官方宣称能连续跑 12 小时以上、调用超 4000 次工具、并行管理 300 个子智能体。

推荐理由:月之暗面发布总参数1万亿的Kimi K2.6开源模型,主打长时间多步骤智能体任务,官方称可连续运行12小时以上并并行管理300个子智能体。

Hacker News 首页

膨胀伪影:大模型输出的瑕疵不是压缩痕迹,而是解压时脑补过头的证据

Matt Ström-Awn 把大模型生成内容里的毛病叫做“膨胀伪影”,而不是压缩伪影。他的逻辑是:模型从模糊的训练数据里往外“解压”时,会在信心不足的地方用训练分布里的高频模式硬填,于是就有了那些套话、过度注释的代码、六指手和穿模视频。

推荐理由:Matt Ström-Awn 把大模型生成内容里的套话、六指手和穿模视频归为解压时用高频模式硬填的膨胀伪影,为理解这些瑕疵的来源提供了一条不同于压缩失真的解释路径。

Latent Space

用 Transformer 解决癌症临床试验 95% 的失败率——Noetik 的 Ron Alfa 和 Daniel Bear

95% 的癌症疗法通不过临床试验,Noetik 认为这主要是个配对问题:没搞清楚哪个病人、哪种肿瘤、该用哪种已有的药。他们训练了一个叫 TARIO-2 的自回归 Transformer,能从每个病人都会做的常规 H&E 染色切片里,直接预测出约 19,000 个基因的空间表达图谱。

推荐理由:Noetik 训练自回归 Transformer 从常规 H&E 染色切片预测约 19000 个基因的空间表达图谱,把癌症试验高失败率归因于病人、肿瘤与药物的配对问题。

4月20日星期一

r/LocalLLaMA

TRELLIS.2 图片转 3D 模型现在能在苹果芯片 Mac 上跑了,不用 NVIDIA 显卡

有开发者把微软的 TRELLIS.2 移植到了 Apple Silicon 上,用一张照片就能生成约 40 万个顶点的 3D 网格。在 24GB 内存的 M4 Pro 上跑一次大概 3 分半钟,其中贴图烘焙只要 18 秒。这次移植把原来五个依赖 CUDA 的扩展换成了 PyTorch MPS 和自定义后端,不再需要 NVIDIA 显卡或云端算力。

推荐理由:开发者将微软 TRELLIS.2 移植到 Apple Silicon,用 PyTorch MPS 替换五个 CUDA 扩展,在 24GB 内存的 M4 Pro 上单次生成约 40 万顶点网格耗时约三分半。

量子位 · 公众号

苏度科技估值超20亿美元,发布具身模型Sudo R1:零真实机器人数据训练,首次抓取成功率约98%

苏度科技放出了他们的具身智能首秀Sudo R1,说是在完全没有用真实机器人数据训练的情况下,直接零样本测试了200多次,对100多种没见过的物体(包括透明、金属、软的和反光的东西)首次抓取成功率约98%,试两次基本能到100%。整个演示跑了60分钟。他们用的方法是在高保真模拟器里结合世界模型和强化学习来训练,相当于先在虚拟世界里把技能练好再搬到真机上。

推荐理由:苏度科技发布具身模型Sudo R1,在未用真实机器人数据训练的情况下,对100多种未见物体完成200多次零样本抓取测试,首次成功率约98%,其训练路径为仿真到真机迁移提供参考。

机器之心 · 公众号

智元机器人把2026年叫“部署态”元年,一口气甩出7套落地方案

智元在4月17号上海的活动上发了4款机器人、6个AI模型和7套标准化部署方案,把2026年定义为具身智能的“部署态”元年。远征A3续航标称8到10小时,WITA Omni 1.0的交互延迟目标是500毫秒以内,BFM模型用了一亿多帧图像和700小时动捕数据训练。他们还提到2025年出货超5100台、市占率39%,第1万台在今年3月下线。

推荐理由:智元在上海发布4款机器人、6个AI模型和7套标准化部署方案,并给出续航、交互延迟与训练数据等具体指标,其将2026年定为部署态元年的产品布局由此展开。

Hacker News 首页

TRELLIS.2 图生 3D 模型现在能在 Mac 上跑了,不用 Nvidia 显卡

开发者 shivampkumar 把微软那个 40 亿参数的 TRELLIS.2 模型移植到了苹果芯片上,靠 PyTorch 的 MPS 后端驱动,一张图就能生成 3D 模型。

推荐理由:开发者 shivampkumar 将微软 40 亿参数的 TRELLIS.2 模型移植到苹果芯片,借助 PyTorch 的 MPS 后端,让没有 Nvidia 显卡的 Mac 用户也能本地完成图生 3D。

4月19日星期日

量子位 · 公众号

马斯克在抖音卖老干妈?其实是 OpenAI 新模型生成的假图

这篇文章展示了用 OpenAI GPT Image 2 生成的几张假图,包括“马斯克抖音直播卖老干妈”和“GTA-6 联动海报”,画面里还伪造了 10 万+ 的在线观看人数。文章说 Image 2 现在能画出很逼真的海报、游戏截图,还能在图上写出可读的长文字,背后可能用了类似 Codex 的界面生成流程。

推荐理由:OpenAI 的 GPT Image 2 被用来生成马斯克抖音直播卖老干妈等假图,画面里的在线人数和长段可读文字都做得逼真,展示出图像模型在海报和游戏截图上的生成能力。

量子位 · 公众号

高德发布全栈具身智能体系 ABot,号称在 15 项指标上拿了最优

高德这次公开的 ABot 是一套想让机器人真正干活的全栈技术体系,分视觉感知、物理世界模型和视觉语言动作模型几块。ABot-3DGS 能用厘米级地图数据重建上万平米的三维场景,ABot-PhysWorld 则是一个 140 亿参数的扩散模型,用 300 万条真实机械臂操作视频训练,让机器人先在大脑里模拟动作再执行。

推荐理由:高德公开全栈具身智能体系 ABot,其中 ABot-PhysWorld 用 300 万条真实机械臂操作视频训练 140 亿参数扩散模型,让机器人先模拟动作再执行。

4月18日星期六

机器之心 · 公众号

Anthropic 给 Claude 加了个设计功能,能直接出线框图、原型和幻灯片

Anthropic 在 Claude Pro、Max、Team 和 Enterprise 账号里上线了 Claude Design 的研究预览版,背后跑的是 Claude Opus 4.7。它能吃代码库、图片、DOCX、PPTX、XLSX 和网页截图,吐出来的东西可以导出到 Canva、PDF、PPTX 和 HTML。

推荐理由:Anthropic 在 Claude 付费账号上线 Claude Design 研究预览版,可读取代码库、图片和多种文档,并导出为 Canva、PDF、PPTX 和 HTML。

彭博科技

OpenAI 前产品负责人和 Sora 主管双双离职

OpenAI 一下子走了两位高管:一位是前产品负责人,另一位是 Sora 视频模型的主管。标题确认是两个人,但正文没披露他们具体是谁、什么时候走的、为什么走,也没说谁来接任。值得留意的是 Sora 团队会不会跟着调整,不过目前没有任何细节。

推荐理由:OpenAI 前产品负责人与 Sora 主管同时离职,在离职原因和继任安排均未披露的情况下,Sora 团队后续是否调整是这条消息目前可追踪的线索。

X · @dotey(宝玉)

Anthropic 发布 Claude Design,用对话代替拖拽生成设计稿

Anthropic 推出了 Claude Design,一个靠聊天就能出设计稿的工具,背后跑的是新模型 Claude Opus 4.7。你描述需求,它直接生成图片,然后通过对话、批注、直接编辑或拖拽滑块反复改。团队第一次用的时候,它会读你的代码库和设计文件,自动生成一套设计系统(品牌色、字体、组件),后续项目自动套用。

推荐理由:Anthropic 发布 Claude Design,用对话生成设计稿并支持批注、直接编辑和滑块调整,初次使用时会读取代码库与设计文件,自动生成品牌色、字体和组件组成的整套设计系统。

4月17日星期五

Hacker News 首页

Anthropic 实验室推出 Claude Design,用对话就能生成设计稿

Anthropic 在 4 月 17 日上线了 Claude Design,目前是研究预览版,Pro、Max、Team 和 Enterprise 用户都能用。它基于 Claude Opus 4.7,你给它文字描述、图片、文档(DOCX、PPTX、XLSX)甚至代码库,它就能生成设计稿、原型、幻灯片或单页宣传页。

推荐理由:Anthropic 上线研究预览版 Claude Design,Pro、Max、Team 和 Enterprise 用户可输入文字、图片、文档或代码库生成设计稿与原型,设计到代码的衔接方式由此多了一种可能。

X · @claudeai

Anthropic 实验室推出 Claude Design,用对话就能生成原型、幻灯片和单页文档

Claude Design 是 Anthropic 实验室放出的研究预览功能,Pro、Max、Team 和 Enterprise 用户今天开始陆续能用。它跑在 Claude Opus 4.7 上,官方说这是他们目前最强的视觉模型。用法很简单:你跟 Claude 聊需求,它直接出原型、幻灯片或单页文档。正文没提价格、输出限制和详细推送时间表。

推荐理由:Anthropic 实验室面向 Pro、Max、Team 和 Enterprise 用户放出 Claude Design 研究预览,对话即可生成原型、幻灯片和单页文档,由 Opus 4.7 驱动。

新智元 · 公众号

智元机器人说已进入“部署态”,在工厂产线连续干了8小时没停

智元在4月17日的APC 2026上把2026年定义为“部署态元年”,核心案例是龙旗南昌工厂的Genie G2机器人:完成2283次上料任务,成功率超99.5%,单次节拍18到20秒,连续运行8小时。这些数字是公司自己公布的,正文没提有没有第三方审计。

推荐理由:智元公布龙旗南昌工厂Genie G2连续运行8小时、完成2283次上料且成功率超99.5%的数据,这些数字来自企业自报,呈现其宣称部署态在产线上的运行表现。

MIT Technology Review · AI

机器人是怎么学会干活的:一段当代简史

2025年人形机器人拿到的投资是61亿美元,是2024年的4倍。钱突然涌进来,不是因为造出了C-3PO,而是机器人学习的方式彻底变了。以前靠人手写规则,比如叠衣服要定义领口、袖口、折叠角度,情况一多规则就爆炸。2015年前后,前沿做法改成在仿真里用奖励信号让机器自己试错,跑几百万次来学会一个动作。

推荐理由:梳理人形机器人学习方式从手写规则转向仿真试错的过程,并交代2025年61亿美元投资为2024年四倍这一背景。

X · @dotey(宝玉)

Seedance 2.0 API 开放,视频生成能直接串进工作流了

火山引擎把 Seedance 2.0 的 API 放出来了,国内走方舟平台,海外走 BytePlus。国内定价 46 元/百万 token,纯视频生成大概 1 元/秒,海外价格正文没写。这个 API 支持文字、图片、音频、视频四种输入,还内置了人脸验证、肖像授权和一万多个预置虚拟人像,可以用代码或 Agent Skills 把整条视频制作流程自动化。

推荐理由:火山引擎开放 Seedance 2.0 视频生成 API,国内按 46 元每百万 token 计费,海外经 BytePlus 同步上线,支持文字、图片、音频、视频四类输入并内置肖像授权与虚拟人像。