FLUX 3 开始控制机器人:一个模型同时生成视频和预测动作
Flux 3 X Mimic: The Next Generation of Video-Action Models
Black Forest Labs 把早期版 FLUX 3 装到了 mimic 的机器人上,已经在奥迪产线做过测试。FLUX 3 是一个模型同时生成图像、视频和音频,其中视频预测占了训练算力的 95% 以上。为了不出现画面穿帮,模型必须学会接触、运动和因果关系。把动作预测作为低维模态加进去时,视频质量一度掉了 10%,但训练 3500 步后就完全恢复。
推荐理由:Black Forest Labs 将早期版 FLUX 3 接入 mimic 机器人并在奥迪产线测试,把动作预测作为低维模态加入后视频质量先降 10%,训练 3500 步即恢复。