Nvidia GR00T 2 从人类视频学习动作,并预测机器人执行画面
Nvidia's model GR00T 2 watches humans on video, then imagines itself as the robot
Nvidia 推出 GR00T 2,通过同时预测动作和未来视频画面,将人类示范中的动作迁移到机器人,减少新任务训练所需的遥操作。模型使用约 400,000 小时的人类视频训练,实验中未经对应任务遥操作的机器人完成点火柴、切香蕉等任务,成功率介于 10%–80%。系统尚不处理直接触觉传感数据,配合高层语言模型规划时也存在延迟,垃圾分类测试中机器人约三分之一的时间处于等待状态。