# 算力最优不等于集群最优：MoE 架构怎么选，得看真实集群能跑多快

> 原标题：Compute-Optimal Is Not Cluster-Optimal

- 来源：Hacker News 首页
- 发布时间：2026-08-13T17:40:09.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/50538
- 原文：https://szha.ai/blog/compute-optimal-is-not-cluster-optimal/

## 摘要

Sheng Zha 的新论文 MOSAIC 把系统性能直接塞进了缩放法则里。以前的做法是先按理论算力预算挑架构，再交给系统团队去调优，但集群计费看的是 GPU 小时，不是理论浮点运算次数。他们在约 150 次 MoE 预训练实验上拟合出联合缩放法则后发现：如果只看理论算力，稀疏度越高越好，最优解会被推到搜索边界。

## 推荐理由

Sheng Zha 的 MOSAIC 把集群真实开销纳入缩放法则，用约 150 次 MoE 预训练实验拟合出联合法则，指出只看理论算力会把最优稀疏度推向搜索边界。

## 锐评

把系统效率塞进缩放法则里，这个方向是对的，因为集群账单按 GPU 小时算，不按理论 FLOPs 算。150 次预训练实验拟合出来的结论也够直白，只看理论算力，稀疏度越高越划算，最优解直接被推到搜索边界；放到 512 张卡的真实集群上，通信开销和低利用率又把最优稀疏度拉回来一大截。所以拿理论算力预算去定 MoE 架构，选出来的往往是纸面上最漂亮、跑起来最贵的那一档。做预训练预算的，选架构这一步就该把集群效率算进去，不然调优阶段再省也补不回架构选错的钱。
