Runway 开源机器人控制模型 Praxis-1,利用视频训练预测环境与动作
Runway 发布机器人控制模型 Praxis-1 的开放权重和源代码,采用允许商业使用的 Apache 2.0 许可证。模型基于视频预训练,结合摄像头图像、文本指令和机器人位置信息预测环境变化并生成动作,在 Runway 自行开展的 RoboLab-120 测试中成功率为 46.2%,位列 World Action Model 类别第一、总榜第五,结果尚未经独立核验。
Runway 发布机器人控制模型 Praxis-1 的开放权重和源代码,采用允许商业使用的 Apache 2.0 许可证。模型基于视频预训练,结合摄像头图像、文本指令和机器人位置信息预测环境变化并生成动作,在 Runway 自行开展的 RoboLab-120 测试中成功率为 46.2%,位列 World Action Model 类别第一、总榜第五,结果尚未经独立核验。
Nvidia 推出 GR00T 2,通过同时预测动作和未来视频画面,将人类示范中的动作迁移到机器人,减少新任务训练所需的遥操作。模型使用约 400,000 小时的人类视频训练,实验中未经对应任务遥操作的机器人完成点火柴、切香蕉等任务,成功率介于 10%–80%。系统尚不处理直接触觉传感数据,配合高层语言模型规划时也存在延迟,垃圾分类测试中机器人约三分之一的时间处于等待状态。
Google DeepMind 推出机器人控制模型 Gemini Robotics 2.5,并称其在奔驰实际生产线的金属零件分拣试点中取得96%的成功率。
Google DeepMind 发布 Gemini Robotics 2.5,并公布开源安全基准 ASIMOV-jailbreak,为机器人与人类协作做准备。平台由 Gemini Embodied Reasoning 根据指令和实时视频规划任务,再由 Gemini Robotics 生成机器人动作;Google 称新版在高灵巧度任务上表现更好,评估覆盖超过 200 项活动。
Google DeepMind 推出视觉语言动作模型 Gemini Robotics 2.5,提升机器人技能学习速度、灵巧性和安全性,并向机器人合作伙伴逐步开放。
推荐理由:Google DeepMind 将 Gemini Robotics 2.5 用于汽车零件分拣试点,把机器人可靠性测试推进到实际生产线。
Claude Sonnet 5 从 19 种候选基因疗法中自主选择治疗方案、脑区和注射坐标,并操作定制设备为癫痫模型小鼠实施手术。持证兽医批准每个不可逆步骤并掌握物理急停按钮;模型在连接中断后发现目标位置超出设备运动范围,拒绝继续,团队最终手动修复代码。
Google DeepMind 推出实验性世界模型 Genie 4,支持实时交互场景、声音生成和角色对话,目前仅向部分测试者开放。Gemini 3.8 Flash 持续观察画面、拆解任务并调整计划,Gemini 4 Argon 则在演示中指挥模拟机器人 Apollo 下跳棋。
Google DeepMind 发布 Genie 4 世界模型,称其相比 Genie 3 有多项改进,并承诺更逼真的物理模拟与人物。世界模型根据用户描述,在探索过程中逐帧实时生成体验,无需预渲染环境或编写交互元素。DeepMind 称该技术可用于物理机器人的训练环境和创意领域的快速原型制作,Genie 4 的改进部分得益于更新后的 Gemini 模型。
Google DeepMind 于周二发布 Genie 4 研究预览,新增实时音频与模拟中的提示词编辑,生成更逼真、可交互的世界。模型可实时改变天气、镜头角度或添加人物与物体,保持场景一致性最长两分钟,是前代的两倍,但仍存在细节漂移、音频准确性和场景文字可读性问题。
Google DeepMind 发布世界模型 Genie 4,支持原生音频、交互式对白和自然语言实时修改场景,已向可信测试者开放研究预览。Gemini 3.8 Flash 在模拟中持续观察场景、拆解目标并检查执行进度,帮助维持多步骤事件的连贯性;模型仍存在物体持久性漂移、复杂物理交互和长期一致性等限制。
推荐理由:Genie 4 将原生音频与实时场景控制接入世界模拟,让创作者能在动态场景中调整镜头、对白和动作来试演想法。
Nvidia 开源机器人视频标注引擎 Flora,称每小时视频标注成本为 $0.72,相比 GPT-6 Astra 的 $88.49 可降低至约 1/125。Flora 由三个微调的 Qwen3.5 模型组成,负责动作分段、描述及奖励评分,模型已在 Hugging Face 提供,并用于 GR00T 训练。
Dream Labs 发布世界动作模型 Dream-1 并开放公共 API,称其可零样本控制未见过的双臂平行夹爪机器人,执行未见任务。评估覆盖 27 种模拟机器人和 4 种真实机器人,表现因机器人及其逆运动学求解器而异;FaaS 微调服务可利用机器人自身数据改善适配。
NVIDIA 扩展开放模型组合,推出 Nemotron 3.5 Super VL、Kumo、Cosmos 3.5 等模型,支持组织用本地数据定制并部署到自主控制的基础设施上。
Google DeepMind 介绍 Gemini 4 Argon 在机器人控制、Real2Sim、物理理解和自我改进中的应用,称其纯推理 ERQA 得分为87%。
推荐理由:Google DeepMind 用 Argon 从实景重建仿真并生成训练数据,将示例中的机器人任务成功率从56%提升至75%。
小米机器人团队放出了一个开箱即用的机器人基础模型 XR-1,代码、权重和论文都公开了。它的思路分两步:先用 10 万小时不带真实机器人的操作视频做预训练,覆盖 1700 多个场景,让模型学会“看到画面变化该输出什么动作”;再用 7200 小时真机数据做后训练,把动作能力对齐到具体机器人上,并让模型能听懂自然语言指令。
推荐理由:小米开源机器人基础模型 XR-1,公开代码、权重和论文,其先用 10 万小时无实机视频预训练、再用 7200 小时真机数据对齐的两阶段路线,为机器人基础模型的训练数据构成提供了一份可参考的样本。
高德搞了个叫 ABot-Earth0.5 的模型,号称是全球第一个原生 3D 的城市世界模型。它已经覆盖了 190 多个国家和地区。用起来很简单,你扔给它一张卫星图或者一段文字描述,它就能在普通消费级显卡上,大概 10 分钟给你生成一大片公里级的 3D 城市场景。出来的素材是 3DGS 格式,能直接拖进 Unity、虚幻引擎这些软件里接着用。
推荐理由:高德发布 ABot-Earth0.5,输入一张卫星图或一段文字,约 10 分钟即可在消费级显卡上生成公里级 3D 城市场景,输出 3DGS 格式可直接导入 Unity 和虚幻引擎。
狮子山 AI 实验室在 ICRA 2026 LeHome 挑战赛的真机决赛里拿了第一。他们用一套叫 LiOS 的系统,把训练、部署、轨迹采样和 Real2Sim 遥操作串成一个数据循环,让机器人学会叠衣服这类软物操作。不过文章正文被微信环境验证挡住了,具体技术细节、比赛数据和对比成绩都没看到,只能从标题和现有摘要知道结果。
推荐理由:狮子山 AI 实验室在 ICRA 2026 LeHome 挑战赛真机决赛中拿下叠衣服任务第一,其 LiOS 系统把训练、部署、轨迹采样与 Real2Sim 遥操作串成数据循环,为软物操作提供了一条可迁移的工程路径。
NVIDIA 在 GTC Taipei 把 Cosmos 3 完全开源了,模型权重、代码和数据集都放了出来。它被叫做首个物理 AI 全能模型,意思是能直接看懂真实世界、预测接下来会发生什么,并给出机器人该做的动作。这次发了两个尺寸:Super 版 320 亿参数,Nano 版 80 亿参数。正文没提具体跑分和硬件门槛,实际部署成本还得自己测。
推荐理由:NVIDIA 将 Cosmos 3 的权重、代码和数据集全部开源,并给出 320 亿与 80 亿参数两个版本,为机器人方向提供了可直接取用的物理世界理解与动作生成模型。
招商局狮子山人工智能实验室放出了一个叫 LiOS 的边云架构,专门解决机器人怎么用上云端大模型的问题。他们跨机器测下来,从本地摄像头到云端 GPU 显存,单向延迟大约 30 毫秒,这个数字对很多实时控制场景已经够用了。架构里低延迟视频传输模块直接开源,还附带了一个 LeFold 叠衣服数据集。
推荐理由:招商局狮子山实验室开源 LiOS 边云架构,实测本地摄像头到云端 GPU 显存单向延迟约 30 毫秒,并开放低延迟视频传输模块与 LeFold 叠衣服数据集。
英伟达把 Cosmos 3 称为第一个完全开放的物理 AI 全能模型,意思是它不只能识别图像,还内置了视觉推理、生成 3D 世界状态和直接输出动作的能力。这次放出两个尺寸:Super 版 320 亿参数,Nano 版 80 亿参数。正文没提训练数据规模、具体跑分和推理成本,所以实际能用多好、跑起来贵不贵还得等实测。
推荐理由:英伟达开源 Cosmos 3 物理 AI 模型,同时放出 320 亿参数的 Super 版和 80 亿参数的 Nano 版,把视觉推理、3D 世界状态生成与动作输出整合进同一模型。
GSMA 宣布在 2026 年 6 月 24 日至 25 日的 MWC 上海搞一场人形机器人点球比赛,这是全球头一回。8 支国内具身智能团队参加,包括宇树科技、灵心巧手等。规则参照世界杯点球,双方各罚 5 轮,射门和守门的都是机器人,平局后一球定胜负。关键限制是机器人必须自己识别球和守门员位置、决定射门角度并控制发力,不能由人遥控,也不能跑预设脚本。
推荐理由:MWC上海将办一场人形机器人点球赛,宇树科技等8支队伍参赛,规则要求机器人自主识别球与守门员位置并决定射门角度和发力,不能遥控或跑预设脚本。
这篇文章来自微信公众号,但页面被环境验证挡住了,正文内容完全看不到。标题和摘要里提到的“复旦铁三角”和“最优物理 AI 路径”都是原文的说法,具体技术细节、实验数据和模型架构都没法核实。已知信息是:一个叫 STI-WM 的模型,主打时空一体的世界动作建模,用在机器人上,支持 RGB 图像、点云和机器人自身状态感知三种输入,能做上百秒的任务规划。
推荐理由:复旦系团队发布 STI-WM 世界动作模型,将 RGB、点云与机器人本体感知统一输入,支持上百秒的任务规划,其多模态融合思路为机器人长程动作建模提供了一条可参考的技术路径。
沐神智能搞了个叫 STI-WM 的模型,专门给机器人用的。它把 RGB 画面、深度点云和机器人自身状态(比如关节角度)同时喂进去,首创了时空一体的架构,不再是先看空间再看时间的两段式处理。官方说它能支撑上百秒的长任务推演,中间出错了还能闭环重新规划。不过正文没给出具体的基准测试分数,也没提部署成本,所以实际效果和性价比还得等更多数据。
推荐理由:沐神智能发布 STI-WM,把 RGB、深度点云与机器人关节状态同时输入一个时空一体架构,支撑上百秒长任务推演并支持出错后重新规划。
Mistral 整合了 Emmi AI 团队,发布了一个面向工业工程的物理 AI 基础模型。它能根据几何结构、边界条件或测量数据,在单张 GPU 上用几秒钟预测出完整的物理场(比如温度、应力分布)。正文没披露具体架构、参数量、训练数据规模和实测误差范围,也没给出跟传统数值仿真在精度和速度上的量化对比,所以实际工程可用性还得看后续验证。
推荐理由:Mistral 整合 Emmi AI 团队后推出面向工业工程的物理 AI 基础模型,可在单张 GPU 上几秒预测温度、应力等完整物理场,为关注工业仿真效率的读者提供一条技术路线参考。
X Square Robot 开源了一个叫 Wall-OSS-0.5 的视觉-语言-动作模型,主打“预训练完就能用”。他们放出了 40 万步的预训练 checkpoint,在 17 个真实机器人零样本任务里,有 4 个成功率超过 80%。这次开源的东西挺全:权重、代码、训练配方、消融实验,还有一个叫 DMuon 的优化器实现。
推荐理由:X Square Robot 开源视觉-语言-动作模型 Wall-OSS-0.5,放出 40 万步预训练 checkpoint,在 17 个真机零样本任务中 4 个成功率超 80%,并附权重、代码与训练配方。
地平线机器人实验室把一个人形机器人全身控制模型 HoloMotion-1 开源了,参数规模 4 亿,他们管它叫“机器人小脑”。这个模型用了 MoE 稀疏激活和 KV-cache 推理,把单步推理开销压下来,在端侧能跑到约 300FPS,比常见的 50Hz 控制频率高出一大截。
推荐理由:地平线机器人实验室开源了 4 亿参数的人形机器人全身控制模型 HoloMotion-1,靠 MoE 稀疏激活和 KV-cache 把端侧推理做到约 300FPS,远高于常见的 50Hz 控制频率。
StarVLA 把 VLA(视觉-语言-动作模型)里常用的主干网络、动作输出头、训练策略和评测接口都做成了可插拔的模块,不用再为不同论文各搭一套代码。仓库在 GitHub 上已经拿到 2.2k 星,支持的基准包括 LIBERO、SimplerEnv、RoboTwin 2.0、RoboCasa-GR1 和 BEHAVIOR-1K。
推荐理由:港科大与社区开源 StarVLA,把 VLA 常用的主干网络、动作输出头和训练评测接口做成可插拔模块,省去为不同论文各搭一套代码的重复工作。
生数科技新模型 MotuBrain 拿了两个第一:在 WorldArena 世界模型榜单上得分 63.77 EWM,在 RoboTwin2.0 的干净和随机两个测试里分别拿到 95.8 和 96.1 分。
推荐理由:生数科技 MotuBrain 在 WorldArena 与 RoboTwin2.0 两个榜单同时登顶,WorldArena 得分 63.77 EWM,RoboTwin2.0 干净与随机测试分别为 95.8 和 96.1 分。
MotuBrain 这个模型在 WorldArena 上拿了 63.77 的 EWM 分数,在 RoboTwin2.0 的干净和随机两种设置下分别得了 95.8 和 96.1 分,两项都是第一。它在运动质量、流分数和运动平滑度这些细分指标上也排在最前面。RoboTwin 的 50 个任务里它平均做到 96.0 分,第二名是 92.3 分,差距不算小。
推荐理由:匿名模型 MotuBrain 在 WorldArena 与 RoboTwin2.0 两个榜单同时登顶,RoboTwin 五十个任务平均 96.0 分,比第二名高 3.7 分。
苏度科技放出了他们的具身智能首秀Sudo R1,说是在完全没有用真实机器人数据训练的情况下,直接零样本测试了200多次,对100多种没见过的物体(包括透明、金属、软的和反光的东西)首次抓取成功率约98%,试两次基本能到100%。整个演示跑了60分钟。他们用的方法是在高保真模拟器里结合世界模型和强化学习来训练,相当于先在虚拟世界里把技能练好再搬到真机上。
推荐理由:苏度科技发布具身模型Sudo R1,在未用真实机器人数据训练的情况下,对100多种未见物体完成200多次零样本抓取测试,首次成功率约98%,其训练路径为仿真到真机迁移提供参考。
荣耀的人形机器人“闪电”在北京半马跑出50分26秒,比乌干达选手基普利莫保持的人类纪录(57分20秒)快了将近7分钟。它身高1.65米,腿长约0.9米,中途撞上护栏摔倒,靠人扶起来后继续跑完。去年最快的机器人成绩是2小时40分42秒,今年直接压缩到不到三分之一,进步幅度很大。
推荐理由:荣耀人形机器人“闪电”在北京半马跑出50分26秒,比人类世界纪录快近7分钟,而去年同类最好成绩还是2小时40分42秒。
Google DeepMind 发布 Gemini Robotics-ER 1.6,这是其面向机器人的推理优先模型升级版,强化了空间推理与多视角理解,并新增仪表读数能力。
推荐理由:Google DeepMind 发布 Gemini Robotics-ER 1.6,强化空间推理与多视角理解,并新增读取复杂仪表的能力,开发者已可通过 Gemini API 和 Google AI Studio 调用。
腾讯混元与Robotics X联合发布了HY-Embodied-0.5,核心是一个叫MoT-2B的模型。它总参数量4B,实际干活时只激活2B,在22项具身智能评测中拿了16项第一。训练数据量不小:用了超过1亿条具身数据、600B以上的预训练token、3000多万条中期训练样本,还引入了视觉隐空间token、双向注意力、RFT、强化学习和在线蒸馏。
推荐理由:腾讯混元与Robotics X发布HY-Embodied-0.5,其MoT-2B模型以4B总参数、2B激活参数在22项具身智能评测中拿下16项第一,训练数据与架构细节均有披露。
NVIDIA 在 2026 年 1 月 5 日放出了一批新的开源模型和数据集。语言模型方面,有 Nemotron 系列的新成员,专门做语音、外挂资料库(RAG)和安全对齐;还有一个叫 Alpamayo 1 的模型,正文没具体说它擅长什么。
推荐理由:NVIDIA 一次性开源覆盖智能体、机器人、自动驾驶和生物医药的模型、数据集与工具,其中 Nemotron 新成员分别面向语音、RAG 和安全对齐。