腾讯推出MoT架构,2B参数的具身模型在22项评测里拿了16项第一
MoE不够看了,腾讯推出MoT:2B具身模型22项评测16项最佳
腾讯混元与Robotics X联合发布了HY-Embodied-0.5,核心是一个叫MoT-2B的模型。它总参数量4B,实际干活时只激活2B,在22项具身智能评测中拿了16项第一。训练数据量不小:用了超过1亿条具身数据、600B以上的预训练token、3000多万条中期训练样本,还引入了视觉隐空间token、双向注意力、RFT、强化学习和在线蒸馏。
推荐理由:腾讯混元与Robotics X发布HY-Embodied-0.5,其MoT-2B模型以4B总参数、2B激活参数在22项具身智能评测中拿下16项第一,训练数据与架构细节均有披露。