AMD 论文发现 FP4 训练不稳，锅不在随机性不够

AMD新论文颠覆认知：FP4训练不稳定，原因不是随机性不足

AMD 和宾州州立大学用 MI355X 原生 FP4 硬件预训练了 Llama 3.1-8B，端到端速度比 FP8 基线快了 9-10%。但论文指出，Wgrad（权重梯度）量化是拖后腿的环节，导致每个 token 的计算开销额外增加 26-27%，而且用确定性 Hadamard 方法也稳不住。正文没披露最终模型的验证集效果对比，这点先别太激动。

推荐理由：我会先打个折：这是一篇偏训练基础设施的研究，不是通用大模型发布，所以分数不会给到顶。但它的钩子很锋利——直接挑战“FP4 不稳定是因为随机性不足”这个流行说法，并且给出了在 AMD 最新硬件上跑 Llama 3.1-8B 的实测数据。速度提升 9-10% 是实打实的，但 Wgrad 带来的 26-27% 额外开销也说明这条路还没完全走通，这点先别太激动。对关心训练成本和硬件选型的从业者来说，这篇值得一看。