# EMO：让专家模型自己长出模块，用八分之一专家就能干活

> 原标题：EMO：为涌现模块化预训练的专家混合模型

- 来源：AI HOT 精选
- 发布时间：2026-05-08T16:03:50.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/16425
- 原文：https://huggingface.co/blog/allenai/emo

## 摘要

AllenAI 放出了一个叫 EMO 的混合专家模型（MoE），总参数量 140 亿，每次推理只激活 10 亿参数。它最大的不同是训练时没按人类划好的学科（比如数学、代码）去分专家，而是让模型自己从 1 万亿 token 的数据里长出模块。结果是，跑特定任务时你只用挑出 12.5% 的专家，性能就接近全模型水平。

## 推荐理由

AllenAI 的 EMO 训练时不按学科划分专家，让模型从 1 万亿 token 中自行长出模块，跑任务时只激活 12.5% 的专家即可接近全模型水平。

## 锐评

14B 总参数只激活 1B，这个比例在 MoE 里算激进，我更在意的是专家不按学科分。人类划的数学、代码这些标签本来就是拍脑袋，让模型自己从 1 万亿 token 里长模块，方向对。只激活 12.5% 专家就接近全模型，这话得看是谁测的、跟什么比。研究发布没给 benchmark 和路由细节，我暂时只当它是个有意思的思路，不敢往生产上押。
