# AMD 论文发现 FP4 训练不稳，锅不在随机性不够

> 原标题：AMD新论文颠覆认知：FP4训练不稳定，原因不是随机性不足

- 来源：机器之心 · 公众号
- 发布时间：2026-05-27T03:56:00.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/28887
- 原文：https://mp.weixin.qq.com/s?__biz=MzA3MzI4MjgzMw==&mid=2651035341&idx=2&sn=60922570204a163ed48f2515c8e3ef97

## 摘要

AMD 和宾州州立大学用 MI355X 原生 FP4 硬件预训练了 Llama 3.1-8B，端到端速度比 FP8 基线快了 9-10%。但论文指出，Wgrad（权重梯度）量化是拖后腿的环节，导致每个 token 的计算开销额外增加 26-27%，而且用确定性 Hadamard 方法也稳不住。正文没披露最终模型的验证集效果对比，这点先别太激动。

## 推荐理由

AMD 与宾州州立大学在 MI355X 上用原生 FP4 预训练 Llama 3.1-8B，端到端比 FP8 基线快 9-10%，但权重梯度量化让每 token 开销多出 26-27%。

## 锐评

FP4 训练不稳的锅不在随机性，这个结论对做训练的人挺有用。卡住的是 Wgrad 量化，每个 token 多出 26-27% 开销，连确定性 Hadamard 都压不住，瓶颈在梯度那一层，跟采样策略没关系。端到端快 9-10% 是 MI355X 上跑 Llama 3.1-8B 实测的，数字我认，但省下的时间又被 Wgrad 吃回去一截，净收益没标题看着那么漂亮。验证集效果没给，先当工程探索看，别急着把 FP4 排进生产计划。
