港中文新优化器 Pion 在“等谱流形”上更新大模型，解决 AdamW 和 Muon 训练崩溃问题

AdamW和Muon的失稳根源有解了，港中文新优化器Pion：在等谱流形上更新大模型

香港中文大学等团队搞了个新优化器叫 Pion，核心思路是不动权重矩阵的奇异值，只在“等谱流形”上做正交等价变换来更新参数。他们拿一个 6000 万参数、没用归一化层的类 LLaMA 模型试跑，Pion 稳定训练了 96 亿个 token，而 AdamW 和 Muon 都崩出 NaN 了。正文没披露更大规模模型或具体下游任务上的效果，所以这点先别太激动，...

推荐理由：我会先打个折：这篇是优化器数学，不是产品发布，所以分数在 78–84 之间。但它的钩子很直接——AdamW 和 Muon 会训崩，而 Pion 用“在等谱流形上更新”这个思路稳住了。正文给了 60M 模型、9.6B token 的无归一化实验，证明能避免 NaN，这对做训练的人有实际参考价值。信息量够，痛点准，所以 HKR 全过。