大模型现在也变复杂了
LLMs Are Complicated Now
Ian Barber 把 Llama 3 和 Nemotron 3 Ultra 的架构图摆在一起对比,发现现在的大模型塞进了好几种不同的注意力机制(分组查询、压缩、稀疏、线性、滑动窗口),前馈层用上了混合专家路由,连残差流和注意力块也开始做选择性路由了。视觉和音频编码器从外挂变成了内嵌,推理时还要跨多张 GPU 跑,中间插了一堆通信操作。
推荐理由:Ian Barber 把 Llama 3 和 Nemotron 3 Ultra 的架构图并排对比,梳理出注意力机制、专家路由与多模态编码器内嵌这几处结构差异,呈现当下大模型设计的分化。