跳到正文

#多模态

今日 4 条

6月3日星期三

机器之心 · 公众号

蚂蚁灵波在 RSS 2026 提出首个自回归因果世界模型,用 50 条演示数据就能让机器人学会通用操控

蚂蚁灵波和港科大搞了个叫 LingBot-VA 的模型,把“预测画面接下来怎么变”和“判断该做什么动作”合到一个自回归框架里。论文说,每个任务只用 50 条真实世界的演示数据微调,在 RoboTwin 2.0 的简单和困难设定下,成功率分别到了 92.0% 和 91.1%。

推荐理由:蚂蚁灵波与港科大提出 LingBot-VA,把画面预测与动作决策合入自回归框架,每个任务仅用 50 条真实演示数据微调,在 RoboTwin 2.0 上报告了 92.0% 和 91.1% 的成功率。

Latent Space

微软一口气发了7个新模型,MAI-Thinking-1是主打,还附了109页技术报告

微软在Build大会上发布了7个MAI系列模型,覆盖文本推理、代码、图像、语音转文字和语音合成。主角是MAI-Thinking-1,一个35B活跃参数的混合专家模型,支持256K上下文窗口。它被定位为微软首个推理模型,训练数据链条干净,没有用任何第三方模型做蒸馏。随模型一起公开的109页技术报告在圈内评价很高,因为透明度给得足。

推荐理由:微软在Build大会发布7个MAI系列模型,主打35B活跃参数的推理模型MAI-Thinking-1,并公开109页技术报告,训练数据未用第三方模型蒸馏。

量子位 · 公众号

大晓机器人和南洋理工搞了个统一物理3D生成框架,刚体、软体、带关节的物体都能一次搞定

这个框架叫PhysX-Omni,目标是让生成的3D模型直接能进物理仿真跑起来,不用再手动修。它把刚体、软体和关节体三类物体的生成统一到一个流程里,省掉了以前要分开处理的麻烦。配套的PhysXVerse数据集有8700个资产,覆盖2900个类别,规模不小。

推荐理由:大晓机器人与南洋理工把刚体、软体和关节体的3D生成统一进PhysX-Omni一个流程,配套PhysXVerse数据集含8700个资产、覆盖2900个类别,省去分开处理再手动修模的环节。

AI HOT 精选

xAI 发布 Grok Imagine 1.5 预览版,一张静态图就能生成 720p 视频

xAI 在 API 里放出了 grok-imagine-video-1.5-preview 模型,能把单张静态图片变成一段动态视频。你给它一张起始帧,再用自然语言描述想要的镜头运动、节奏和音效,它就会按你的指令生成一段最高 720p 的短片。官方说模型会尽量保留原图的光影和细节,让视频像是原图的延续,而不是重新画了一遍。

推荐理由:xAI 在 API 中放出图像转视频预览模型,输入单张静态图并用自然语言描述镜头与音效,即可生成最高 720p 短片,官方称会保留原图光影细节。

AI HOT 精选

Runway 把 Aleph 2.0 视频编辑放上 API,最长能改 30 秒 1080p 多镜头片段

Runway 的 Aleph 2.0 视频编辑功能现在可以通过 API 调用了,你可以把它直接嵌进自己的应用或产品里。它支持对最长 30 秒、1080p 的多镜头视频做局部修改,只动你想改的那部分,其他画面不变。正文没提价格、调用频率限制、处理延迟和地区可用性,这些实际落地要用的信息都还没给。

推荐理由:Runway 将 Aleph 2.0 视频编辑能力开放为 API,支持对最长 30 秒、1080p 的多镜头片段做局部修改,开发者可把它嵌入自有应用或产品。

r/LocalLLaMA

用 LiteRT 跑 Gemma 4 E4B,文字生成比 Q4 GGUF 快 2.4 倍,图片处理几乎没变

有人在 RTX 4060 Ti 16GB 上实测了 Gemma 4 E4B 模型。用 LiteRT 引擎跑文字生成,平均每秒能出 157.2 个 token,而用 llama.cpp 的 Q4 GGUF 格式只有 66.3 tok/s,快了大约 2.4 倍。

推荐理由:作者在 RTX 4060 Ti 上实测 Gemma 4 E4B,LiteRT 文字生成达 157.2 tok/s,约为 llama.cpp Q4 GGUF 的 2.4 倍,图片处理两者接近。

The Verge · AI

微软在 Build 2026 上发了 Project Solara,一个给 AI 硬件跑智能体的安卓系统

微软在 Build 2026 大会上公布了 Project Solara,一个专门为跑 AI 智能体的硬件设计的操作系统。它底层是安卓,不是 Windows。现场展示了两个概念机:一个是类似 Echo Show 的桌面设备,用人脸识别解锁后可以直接调用各种 AI 智能体;另一个是可穿戴工牌,带摄像头和指纹扫描,能唤醒 AI 智能体。

推荐理由:微软在 Build 2026 公布 Project Solara,一个底层用安卓、专为运行 AI 智能体的硬件设计的系统,现场还展示桌面设备和可穿戴工牌两台概念机。

6月2日星期二

AI HOT 精选

阶跃星辰放出 Step 3.7 Flash,开放权重,主打帮智能体写代码

阶跃星辰发了个新模型 Step 3.7 Flash,把权重开放了,你可以直接下载用。它的定位是给智能体编程场景用,强调工具调用可靠,还能处理多模态输入。同一天 MiniMax 也开源了 M3,两家模型都已经能在 Kilo 平台上跑。正文没披露具体的跑分、参数量或硬件门槛,所以实际快不快、省不省资源还得自己测。

推荐理由:阶跃星辰开放 Step 3.7 Flash 权重,面向智能体编程,强调工具调用与多模态输入,同日 MiniMax 开源 M3,两家模型均可在 Kilo 平台运行。

r/LocalLLaMA

NVIDIA 在 Hugging Face 上放出 Cosmos 3 世界模型,能同时吃文字、图片、视频并生成视频、音频和动作指令

NVIDIA 把 Cosmos 3 系列模型挂上了 Hugging Face,这次发了两个尺寸:Nano 版 160 亿参数,Super 版 640 亿参数。它是个全模态世界模型,输入可以混着来——文字、图片、视频甚至动作轨迹都行,输出也不止视频,还能直接吐图片、音频和下一步的动作指令。

推荐理由:NVIDIA 将 Cosmos 3 世界模型开源到 Hugging Face,提供 160 亿和 640 亿参数两个版本,输入可混合文字、图片、视频与动作轨迹,输出覆盖视频、图片、音频和动作指令。

量子位 · 公众号

老黄带着英伟达 CPU 杀进 PC 赛道

英伟达要在今年秋天把一台叫 RTX Spark 的 Windows 电脑推向市场。这台机器把一块 Blackwell 架构的 RTX 显卡和一颗 20 核 Arm 架构的 Grace CPU 焊在一起,通过 NVLink-C2C 高速互联,共享 128GB 统一内存。

推荐理由:英伟达把20核Grace CPU与Blackwell显卡通过NVLink-C2C封装进Windows整机,共享128GB统一内存,为本地运行大模型提供了一种不同于独立显卡的硬件方案。

Latent Space

英伟达连发三弹:Cosmos 3 世界模型、Nemotron 3 Ultra 大模型,还有一台叫 Spark 的个人超算

英伟达在台北电脑展上放出了一波开源模型和硬件。Cosmos 3 是一个能同时处理文字、图片、视频、音频和动作的“世界模型”,用了混合 Transformer 架构,把负责推理和负责生成的两个模块拼在一起。它分 Nano(16B)和 Super(64B)两个尺寸,其中 Super 微调后的文生图和图生视频能力,在开放权重模型里直接冲到了第一。

推荐理由:英伟达在台北电脑展一次放出世界模型、大模型和本地推理硬件,Cosmos 3 的混合 Transformer 架构与 16B、64B 两个尺寸给出了具体技术锚点。

AI HOT 精选

NVIDIA Cosmos 3 在开放权重模型里拿了图像和视频生成双料第一

NVIDIA 的 Cosmos 3 在 Artificial Analysis 的开放权重榜单上,文本生图和图片转视频两项都排到了第一。它用了一种叫 Mixture-of-Transformers 的架构,把自回归推理器和扩散生成器拼在一起,有 16B 参数的 Nano 版和 64B 参数的 Super 版。

推荐理由:NVIDIA 的 Cosmos 3 在 Artificial Analysis 开放权重榜单上同时拿下文本生图和图片转视频第一,其 Mixture-of-Transformers 架构把自回归推理器与扩散生成器组合在一起。

AI HOT 精选

Gemini Omni 能生成你的数字分身,放进视频里

Gemini App 发帖演示了用 Gemini Omni 捏一个长相和声音都像你的数字分身,然后直接塞进视频创作里。帖子没提这个功能什么时候上线、要不要付费,也没说怎么防止别人拿你的形象乱用。

推荐理由:Gemini App 演示用 Gemini Omni 生成长相和声音都像本人的数字分身,再放进视频创作,官方放出这一功能点,呈现视频创作与虚拟人方向的产品进展。

6月1日星期一

AI HOT 精选

MiniMax 开源 M3 模型,把写代码、读长文和看图听声塞进一个系统,跑分压过 GPT-5.5 但成本只要十二分之一

MiniMax 放出了一个叫 M3 的开源模型,把代码能力、一次能读 100 万 token 的长上下文和原生多模态(能直接处理图像、音频)做在了一起。在 SWE-Bench Pro 这个代码基准上拿了 59.0%,比 GPT-5.5 的 58.6% 和 Gemini 3.1 Pro 的 54.2% 都高一点。

推荐理由:MiniMax 开源 M3,将代码、百万 token 长上下文与原生多模态集成于一个模型,SWE-Bench Pro 得分 59.0%,略高于 GPT-5.5 的 58.6%。

Latent Space

视频智能体是下一个方向:Ethan He 谈 xAI Grok Imagine 的三个月从零到一

Ethan He 在 NVIDIA 做完 Cosmos 世界模型后跳到了 xAI,带着一个小团队三个月就做出了 Grok Imagine。他有个很直接的观点:视频模型现在的智能主要来自语言模型,不是靠堆视频数据训练出来的。下一个 Sora 级别的突破不会是更好的视频生成模型,而是能规划、生成、修改、反复打磨一个完整创意任务的视频智能体。

推荐理由:xAI 的 Ethan He 带小团队三个月做出 Grok Imagine,并判断视频模型的智能主要来自语言模型,下一个突破在能规划、生成、修改完整创意任务的视频智能体。

AI HOT 精选

NVIDIA 开源 Cosmos 3:一个模型搞定物理世界的看、想、动

NVIDIA 在 GTC Taipei 把 Cosmos 3 完全开源了,模型权重、代码和数据集都放了出来。它被叫做首个物理 AI 全能模型,意思是能直接看懂真实世界、预测接下来会发生什么,并给出机器人该做的动作。这次发了两个尺寸:Super 版 320 亿参数,Nano 版 80 亿参数。正文没提具体跑分和硬件门槛,实际部署成本还得自己测。

推荐理由:NVIDIA 将 Cosmos 3 的权重、代码和数据集全部开源,并给出 320 亿与 80 亿参数两个版本,为机器人方向提供了可直接取用的物理世界理解与动作生成模型。

新智元 · 公众号

400 tokens/秒!阶跃Step 3.7 Flash,把Agent任务成本打到Claude零头

阶跃星辰这次放出的 Step 3.7 Flash 是个混合专家模型,总参数量 196B,还挂了一个 1.8B 的视觉编码器,但每次推理实际只动用 11B 参数,所以能跑到每秒 400 个 token。官方说在 Agent 任务上,它的成本只有 Claude 的零头。

推荐理由:阶跃星辰发布 Step 3.7 Flash,196B 总参数每次推理只激活 11B,官方称 Agent 任务成本仅为 Claude 的零头。

机器之心 · 公众号

OpenAI 为机器人团队招兵买马,由 Sora 负责人带队,部分岗位底薪开到 34 万美元以上

OpenAI 放出了十多个旧金山的机器人岗位,团队由 Sora 的负责人 Aditya Ramesh 带队,是从他之前的 Worldsim 项目演变过来的。其中执行器设计工程师的底薪现金在 34.2 万到 44.5 万美元之间,另外还有 PPU 激励。不过原文因为微信环境异常,具体岗位职责和团队规模都没披露,只能看到招聘信息的大致框架。

推荐理由:OpenAI 在旧金山放出十多个机器人岗位,由 Sora 负责人 Aditya Ramesh 带队,执行器设计工程师底薪现金 34.2 万至 44.5 万美元。

机器之心 · 公众号

VAST 发布 Project Eden,世界模型第一次能像游戏一样“存档”了

VAST 推出了一个叫 Project Eden 的三层世界模型架构,把场景的持久状态和画面渲染拆开了。简单说,就是给 AI 生成的 3D 世界加了个“存档”功能,你改过的东西下次打开还在,不用每次都重新生成。文章还提到 VAST 在 A+ 和 A++ 轮一共融了将近 2 亿美元。

推荐理由:VAST 发布 Project Eden 三层世界模型架构,将场景持久状态与画面渲染分离,使 AI 生成的 3D 世界具备存档能力,改动后再次打开仍然保留。

量子位 · 公众号

招商局狮子山实验室开源 LiOS 架构,把云端大模型延迟压到 30 毫秒,还送了个叠衣服数据集

招商局狮子山人工智能实验室放出了一个叫 LiOS 的边云架构,专门解决机器人怎么用上云端大模型的问题。他们跨机器测下来,从本地摄像头到云端 GPU 显存,单向延迟大约 30 毫秒,这个数字对很多实时控制场景已经够用了。架构里低延迟视频传输模块直接开源,还附带了一个 LeFold 叠衣服数据集。

推荐理由:招商局狮子山实验室开源 LiOS 边云架构,实测本地摄像头到云端 GPU 显存单向延迟约 30 毫秒,并开放低延迟视频传输模块与 LeFold 叠衣服数据集。

量子位 · 公众号

VAST 拿了近 2 亿美元,首次公开世界模型 Eden 的技术路线

VAST 在 A+ 和 A++ 轮融了近 2 亿美元,同时公布了 Project Eden 世界模型的架构。这套架构把“世界状态怎么变”和“画面怎么渲染”拆开了:先有一个结构化的状态层来推演变化,中间加一层条件接口做翻译,最后再用生成式渲染层出图。正文没披露具体估值、投资方和模型落地时间表,技术细节也只给了三层框架,没有实验数据和验证指标。

推荐理由:VAST在近2亿美元融资时公开Project Eden世界模型架构,把世界状态推演与画面渲染拆成状态层、条件接口层和生成式渲染层,为理解世界模型的技术分工提供了一份具体框架。

AI HOT 精选

Runway 与 NVIDIA 联手搞了个 Cosmos Coalition,要一起做开放的世界模型

Runway 宣布以创始成员身份加入 Cosmos Coalition,跟 NVIDIA 和一批头部 AI 实验室搭伙,目标是共建并开源面向物理 AI 的前沿世界模型。第一个项目是 Runway 和 NVIDIA 联合开发的一个基础模型。

推荐理由:Runway 以创始成员身份加入 Cosmos Coalition,与 NVIDIA 及多家 AI 实验室共建开源物理 AI 世界模型,其与 NVIDIA 联合开发的基础模型是联盟启动后的第一个项目。

AI HOT 精选

英伟达开源 Cosmos 3:一个能看懂物理世界、还能生成动作的 32B 模型

英伟达把 Cosmos 3 称为第一个完全开放的物理 AI 全能模型,意思是它不只能识别图像,还内置了视觉推理、生成 3D 世界状态和直接输出动作的能力。这次放出两个尺寸:Super 版 320 亿参数,Nano 版 80 亿参数。正文没提训练数据规模、具体跑分和推理成本,所以实际能用多好、跑起来贵不贵还得等实测。

推荐理由:英伟达开源 Cosmos 3 物理 AI 模型,同时放出 320 亿参数的 Super 版和 80 亿参数的 Nano 版,把视觉推理、3D 世界状态生成与动作输出整合进同一模型。

AI HOT 精选

MiniMax 开源 M3 模型:一个模型搞定编程、100 万 token 上下文和原生多模态

MiniMax 把 M3 模型开源了,权重公开可下载。它把三个能力塞进了一个模型里:编程水平摸到了 GPT-5.5 和 Gemini 3.1 Pro 的边(SWE-Bench Pro 得分 59.0%),能处理 100 万 token 的超长上下文,还原生支持图片和视频输入。

推荐理由:MiniMax 开源 M3 并公开权重,把编程、100 万 token 上下文和原生多模态合入同一模型,SWE-Bench Pro 得分 59.0%。

AI HOT 精选

Qwen3.7-Plus:一个能看图、写代码、操作界面的多模态智能体模型

Qwen 发布了 Qwen3.7-Plus,把视觉理解和语言能力塞进同一个模型里,让它能直接看懂屏幕、操作手机 App、根据截图写前端代码,还能在命令行和图形界面之间来回切换干活。在 Terminal Bench 2.0 终端任务上拿了 70.3 分,比 Opus 4.6 Max 和 DeepSeek-V4-Pro Max 都高。

推荐理由:Qwen 发布 Qwen3.7-Plus,把视觉理解与语言能力合入同一模型,能看屏幕、操作 App、按截图写前端代码,在 Terminal Bench 2.0 上以 70.3 分高于 Opus 4.6 Max 和 DeepSeek-V4-Pro Max。

彭博科技

一个 29 岁游戏玩家创办的 3D 建模公司 Vast 刚拿了近 2 亿美元,估值冲到 10 亿,成了中国最新的 AI 独角兽

Vast 这轮融了将近 2 亿美元,估值达到 10 亿美元,正式跨进独角兽门槛。创始人是个 29 岁的游戏玩家,公司做的是用 AI 生成 3D 模型。不过正文没披露具体投资人是谁,也没说产品参数、技术路线和实际客户规模。光看融资金额和估值,在当下市场能拿到这个体量的钱,说明资本对 AI 驱动的 3D 内容生产方向还挺买账的。

推荐理由:29 岁游戏玩家创办的 Vast 用 AI 生成 3D 模型,本轮融资近 2 亿美元、估值达 10 亿美元,资本对 AI 驱动 3D 内容生产方向的投入力度由此显现。

OpenAI News

OpenAI 封禁一批疑似来自中国的账号,这些账号用 ChatGPT 生成评论和漫画,干预美国科技政策与关税讨论

OpenAI 在 2026 年 6 月的威胁报告里披露,他们封掉了一批 ChatGPT 账号,这些账号很可能来自中国。操作者用简体中文写提示词、挂 VPN,让模型批量生成英文短评和政治漫画,主要攻击美国的关税、稀土、AI 和 5G 政策,并明确要求漫画里只能出现特朗普,不能出现中国或习近平。

推荐理由:OpenAI 在威胁报告中披露封禁一批疑似来自中国的账号,这些账号用简体中文提示词批量生成英文评论和漫画,定向介入美国关税与科技政策讨论。

5月31日星期日

新智元 · 公众号

复旦系团队发布时空一体世界动作模型 STI-WM,称能同时吃进 RGB、点云和本体感知数据做百秒级任务规划

这篇文章来自微信公众号,但页面被环境验证挡住了,正文内容完全看不到。标题和摘要里提到的“复旦铁三角”和“最优物理 AI 路径”都是原文的说法,具体技术细节、实验数据和模型架构都没法核实。已知信息是:一个叫 STI-WM 的模型,主打时空一体的世界动作建模,用在机器人上,支持 RGB 图像、点云和机器人自身状态感知三种输入,能做上百秒的任务规划。

推荐理由:复旦系团队发布 STI-WM 世界动作模型,将 RGB、点云与机器人本体感知统一输入,支持上百秒的任务规划,其多模态融合思路为机器人长程动作建模提供了一条可参考的技术路径。

量子位 · 公众号

复旦系团队发布机器人世界动作模型 STI-WM,把时空信息揉在一起做长任务

沐神智能搞了个叫 STI-WM 的模型,专门给机器人用的。它把 RGB 画面、深度点云和机器人自身状态(比如关节角度)同时喂进去,首创了时空一体的架构,不再是先看空间再看时间的两段式处理。官方说它能支撑上百秒的长任务推演,中间出错了还能闭环重新规划。不过正文没给出具体的基准测试分数,也没提部署成本,所以实际效果和性价比还得等更多数据。

推荐理由:沐神智能发布 STI-WM,把 RGB、深度点云与机器人关节状态同时输入一个时空一体架构,支撑上百秒长任务推演并支持出错后重新规划。

5月30日星期六

AI HOT 精选

有人用 AI 生成假黑人形象,在 TikTok 上卖 Shein 的廉价货

The Verge 记者发现,TikTok、Facebook 和 Instagram 上出现了一批用 AI 生成的“黑人创作者”账号,比如一个叫“Aliyah”的虚构人物,假装是手工匠人,实际在卖 Shein 上 9 美元批来的皮带扣,转手标价 40 美元。

推荐理由:The Verge 记者发现 TikTok 等平台上出现 AI 生成的虚构黑人创作者账号,用假手艺人设把 Shein 上 9 美元的皮带扣标价 40 美元出售。

AI HOT 精选

Google 把两个新图像模型 Nano Banana Pro 和 Nano Banana 2 挂上了 Gemini API

Google AI Developers 发推说 Nano Banana Pro(对应 gemini-3-pro-image)和 Nano Banana 2(对应 gemini-3.1-flash-image)已经正式发布,可以直接通过 Gemini API 调用。

推荐理由:Google 将 gemini-3-pro-image 和 gemini-3.1-flash-image 两个图像模型以 Nano Banana Pro 和 Nano Banana 2 的名称挂上 Gemini API,开发者可直接调用。

量子位 · 公众号

帮 Gemini 拿下 IMO 金牌的建模负责人,差点去当了职业钢琴家

这篇文章讲的是 Yi Tay,他在 Gemini Deep Think 拿到 IMO 金牌级成绩时担任建模联合负责人。他 2023 年参与创立了 Reka AI,639 天后又回到了 Google DeepMind。文章还提到他 2012 年就考过了 Trinity 古典钢琴副学士文凭,差点走上职业演奏的路。

推荐理由:Yi Tay 在 Gemini Deep Think 拿下 IMO 金牌级成绩时担任建模联合负责人,此前参与创立 Reka AI,639 天后回到 Google DeepMind。

机器之心 · 公众号

苹果搞了个叫 PICO 的图像压缩方案,画质不变,文件能小到三分之一

苹果发了篇论文介绍 PICO,一个用 AI 做图像压缩的编解码器。在主观画质差不多的情况下,它比 AV1、VVC 和 JPEG AI 省 57% 到 70% 的码率,也就是说文件体积能压到原来的三分之一甚至更少。在 iPhone 17 Pro Max 上跑,压一张 1200 万像素的照片要 230 毫秒,解压要 150 毫秒。

推荐理由:苹果论文介绍 PICO 图像编解码器,在主观画质相近时比 AV1、VVC 和 JPEG AI 省 57% 到 70% 码率,并在 iPhone 17 Pro Max 上给出端侧编解码耗时。

机器之心 · 公众号

英伟达和清华的 γ-World 把世界模型从单机改成了联机,登顶 HuggingFace 日榜

这篇推文本身因为微信环境验证没抓到正文,我只能根据已有的英文摘要和标题来还原。γ-World 是一个多智能体世界模型,核心是把多个 AI 角色放在同一个虚拟环境里互动。它用了一种叫“单纯形位置编码”的方法和 hub token 机制,把多个智能体之间的交互计算成本从平方级降到了线性级。

推荐理由:英伟达与清华团队提出多智能体世界模型 γ-World,用单纯形位置编码和 hub token 把智能体间交互的计算成本从平方级降到线性级。

AI HOT 精选

OpenAI 放出一个实时翻译语音模型,70 多种语言输入,13 种语言输出

OpenAI 发了 gpt-realtime-translate,一个专门做语音翻译的模型。你对着它说 70 多种语言里的任意一种,它能直接用 13 种目标语言把语音播出来。OpenAI 说大模型虽然强,但特定任务还是得上专用模型。目前这个功能已经在智能眼镜上跑起来了,不过正文没披露延迟、准确率和具体硬件细节。

推荐理由:OpenAI 发布专做语音翻译的 gpt-realtime-translate,支持 70 多种语言输入、13 种语言输出,并已落地智能眼镜,可了解专用模型在实时翻译场景的取舍。

The Verge · AI

想拍你干家务,AI 公司开始用免费保洁换训练数据

一家叫 Shift 的 AI 训练初创公司说,可以免费给纽约人打扫房子,条件是允许他们拍摄保洁员干活的全过程:洗碗、擦台面、掸灰、拖地。这些视频会被用来训练家用机器人。公司还计划扩展到伦敦等城市。但正文没披露用户隐私条款、数据保留期限、后续收费模式,也没说具体什么时候进新城市。我会先打个折:免费保洁听着不错,但等于拿你家当机器人训练场,值不值得自己掂量。

推荐理由:Shift 用免费保洁换取在纽约家庭拍摄洗碗拖地等家务全程的视频,用于训练家用机器人,并计划扩展到伦敦等城市。

5月29日星期五

The Verge · AI

Shift 用免费上门打扫换机器人训练数据,清洁工会全程被录像

一家叫 Shift 的 AI 训练数据公司说,可以免费帮你打扫家里,条件是让他们录下清洁工擦窗、吸尘、整理的全过程,拿这些视频去训练机器人。他们觉得这些数据的价值足够覆盖服务成本,网站上写的是“你得到干净屋子,我们拿到训练数据,双赢”。宣传片里清洁工戴着一顶有点奇怪的帽子干活。

推荐理由:Shift 用免费家政服务换取清洁过程的录像,把日常家务变成机器人训练数据的采集场景,其数据价值覆盖服务成本的模式是这条的核心看点。

The Verge · AI

Adobe 的对话式 AI 助手像个平庸的设计实习生

The Verge 提前试了 Adobe Firefly AI 助手的测试版。它不像常规 AI 工具那样直接生成图片或视频,而是充当一个中间人,用对话的方式替你操作 Adobe 的设计软件。作者说,助手解释每一步编辑思路时讲得很清楚,但最终做出来的效果并不让人满意。正文没提定价、正式上线时间,也没列出完整支持哪些软件。

推荐理由:The Verge 编辑提前试用了 Adobe Firefly AI 助手测试版,它不直接生成图片,而是以对话方式代为操作设计软件,编辑思路讲得清楚但成品效果一般。

AI HOT 精选

小米开源 ControlFoley:给视频配音效,可以按你写的提示词或给的参考音频来

小米大模型应用团队放出了一个叫 ControlFoley 的视频音效生成模型,权重和代码都开源了。它主要解决一个问题:以前模型只能看画面自动猜配什么声音,创作者没法干预。ControlFoley 支持三种用法——用文字描述想要的音效、用文字强行覆盖画面里原有的声音、或者上传一段参考音频让它模仿音色和风格,同时还能保证声音和画面动作对得上。

推荐理由:小米开源 ControlFoley,让视频音效从只能由模型自动猜测变为可用文字或参考音频指定,同时保持声音与画面动作对齐。

AI HOT 精选

谷歌 DeepMind 老大说 AGI 可能三年内到,但社会还没准备好

哈萨比斯判断,通用人工智能(AGI)最快 2029 到 2030 年就会出现,比之前想的快很多。他说的 AGI 不是只会干一件活的专用 AI,而是能像人一样跨领域学习、推理和创造的系统。现在那些能独立干活的 AI 智能体,在他看来就是 AGI 的预演。不过他也把话说得很清楚:AGI 不会突然蹦出来,而是一段持续加速的升级过程。

推荐理由:哈萨比斯把 AGI 时间线提前到 2029 至 2030 年,并称能独立干活的智能体是它的预演,这一判断比此前预期快出不少。