EMO：让专家模型自己长出模块，用八分之一专家就能干活

EMO：为涌现模块化预训练的专家混合模型

AllenAI 放出了一个叫 EMO 的混合专家模型（MoE），总参数量 140 亿，每次推理只激活 10 亿参数。它最大的不同是训练时没按人类划好的学科（比如数学、代码）去分专家，而是让模型自己从 1 万亿 token 的数据里长出模块。结果是，跑特定任务时你只用挑出 12.5% 的专家，性能就接近全模型水平；而同样架构、同样数据训出来的普通 MoE...

推荐理由：AllenAI 和 Hugging Face 放出的 EMO，是个 14B 总参数、1B 活跃参数的 MoE 模型，用 1 万亿 token 训练。亮点是跑任务时只激活 12.5% 的专家，推理成本压得很低。不过正文没披露具体 benchmark 成绩和路由策略细节，这点先别太激动。它更像一个研究发布，不是前沿模型发布，所以给 featured 低档。