JetBrains 发布 Mellum2:一个 12B 参数的混合专家模型,每次推理只激活 2.5B 参数
介绍 Mellum2:JetBrains 推出的 12B 混合专家模型
JetBrains 在 Hugging Face 上开源了 Mellum2,一个从零开始训练的混合专家模型。它总共有 120 亿参数,但每次计算只激活其中的 25 亿,这让它跑起来比同尺寸模型快了一倍多,适合对延迟和吞吐量要求高的场景。
推荐理由:JetBrains 开源了 120 亿参数的混合专家模型 Mellum2,每次推理只激活 25 亿参数,运行速度比同尺寸模型快一倍多,适合关注推理延迟与吞吐的场景。