# 港中文新优化器 Pion 在“等谱流形”上更新大模型，解决 AdamW 和 Muon 训练崩溃问题

> 原标题：AdamW和Muon的失稳根源有解了，港中文新优化器Pion：在等谱流形上更新大模型

- 来源：机器之心 · 公众号
- 发布时间：2026-05-30T02:30:00.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/30673
- 原文：https://mp.weixin.qq.com/s?__biz=MzA3MzI4MjgzMw==&mid=2651035907&idx=3&sn=65acfbec433231599b75c459972619e2

## 摘要

香港中文大学等团队搞了个新优化器叫 Pion，核心思路是不动权重矩阵的奇异值，只在“等谱流形”上做正交等价变换来更新参数。他们拿一个 6000 万参数、没用归一化层的类 LLaMA 模型试跑，Pion 稳定训练了 96 亿个 token，而 AdamW 和 Muon 都崩出 NaN 了。

## 推荐理由

香港中文大学团队提出优化器 Pion，保持权重矩阵奇异值不变、仅在等谱流形上做正交变换更新参数，在 6000 万参数无归一化模型上稳定训练 96 亿 token，而 AdamW 和 Muon 均出现 NaN。

## 锐评

60M 的模型、9.6B token 就崩出 NaN，规模确实小，但崩这件事本身值得看。AdamW 和 Muon 在没归一化层的模型上训崩，做预训练的应该都踩过，Pion 不动奇异值、只在等谱流形上做正交变换，思路挺干净。60M 跟要训的规模差着两三个量级，优化器这东西小模型稳不代表大模型稳。现阶段我把它当一个有意思的方向，不是能直接换上去的东西。
