# 大模型现在也变复杂了

> 原标题：LLMs Are Complicated Now

- 来源：Hacker News 首页
- 发布时间：2026-06-20T01:25:14.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/39534
- 原文：https://ianbarber.blog/2026/06/19/llms-are-complicated-now/

## 摘要

Ian Barber 把 Llama 3 和 Nemotron 3 Ultra 的架构图摆在一起对比，发现现在的大模型塞进了好几种不同的注意力机制（分组查询、压缩、稀疏、线性、滑动窗口），前馈层用上了混合专家路由，连残差流和注意力块也开始做选择性路由了。视觉和音频编码器从外挂变成了内嵌，推理时还要跨多张 GPU 跑，中间插了一堆通信操作。

## 推荐理由

Ian Barber 把 Llama 3 和 Nemotron 3 Ultra 的架构图并排对比，梳理出注意力机制、专家路由与多模态编码器内嵌这几处结构差异，呈现当下大模型设计的分化。

## 锐评

架构图越来越花，单卡堆参数的窗口基本关了。Llama 3 到 Nemotron 3 Ultra 这一代，注意力拆成五种变体，前馈走 MoE 路由，连残差流都开始选择性走，视觉音频编码器直接内嵌，推理还得跨多卡插通信。这些复杂度都在换效率，省显存、省算力、压延迟。代价是能把这套东西调通的人越来越少，scaffold 和推理框架的活比模型本身还重。选模型别只看 benchmark 分数，先看它的部署形态你能不能接得住。
