华为搞了个 HiFloat4 训练格式,在自家昇腾芯片上跑赢了西方主导的 MXFP4
Import AI 454: Automating alignment research; safety study of a Chinese model; HiFloat4
华为的研究员在自家昇腾 NPU 上测试了一种叫 HiFloat4 的 4 比特训练格式,跟西方主导的 MXFP4 格式比,HiFloat4 的精度损失更小。具体来说,在 Llama 和 Qwen 模型上,HiFloat4 跟全精度 BF16 基准的误差能控制在 1% 左右,而 MXFP4 即使加了随机舍入等一堆稳定技巧,误差也有 1.5%。
推荐理由:华为研究员在昇腾 NPU 上测试 4 比特训练格式 HiFloat4,与 MXFP4 相比在 Llama 和 Qwen 上精度损失更小,误差约 1% 对 1.5%。