Meta 详解 Prometheus 吉瓦级超集群：一期已完成并用于训练 Muse 模型

Meta 的吉瓦级超集群 Prometheus 一期已完成并用于训练 Muse 系列模型，目前拥有数十万 GPU，计划扩展至约 1 million GPUs。Muse Wonder 预训练和 RL 训练的有效吞吐占比分别超过 85% 和 90%，通过一年的工程优化，集群中断次数较峰值减少 99%。

推荐理由：Meta 将机架内备用 GPU、并行感知容错与异步检查点结合，为大规模训练提供减少故障停机和重复计算的工程方法。