Google 发布 TorchTitan TPU 分叉及模型优化指南

Google 发布 TorchTitan TPU 分叉并给出模型优化 Playbook

Google 发布适配 Google Cloud TPU 的 TorchTitan 分叉，提供分布式训练配方及按步骤执行的模型优化指南。SimpleFSDP、Graph Trainer 和 Pallas 内核支持分片、整步图捕获及计算优化，FLUX.1 案例的训练步耗时从 11.49 秒降至 2.78 秒，达到同硬件 JAX MaxDiffusion 吞吐量的约 99%。