美团发布 LongCat-2.0:1.6 万亿参数 MoE 模型,MIT 开源,全程用自研 AI 芯片训练
LongCat-2.0
美团在 Product Hunt 上线了 LongCat-2.0,一个总参数 1.6 万亿的 MoE 模型,每次推理激活约 480 亿参数,上下文窗口 100 万 token。模型用 MIT 协议开源,训练没碰英伟达 GPU,全跑在美团自己的 AI 专用芯片集群上。技术亮点是 LongCat 稀疏注意力机制,能省计算量;后期专门针对写代码和让模型进业务...
推荐理由:我会先打个折:正文没给任何评测基准分,也没说自研芯片的具体性能和训练成本,所以“强不强”现在没法判断。但亮点很明确——1.6万亿参数、100万token窗口、纯国产芯片训练、MIT开源,这几个要素凑在一起,在国内是第一次。LongCat稀疏注意力如果能实打实省计算量,对长文本和代码场景会有用。后期训练专门针对写代码和业务部署,说明美团不是放个玩具出来,是想让模型真进生产环境干活。如果是真的,训练成本可能比用英伟达低一截,这点先别太激动,等更多数据出来再看。