跳到正文
Import AI

华为搞了个 HiFloat4 训练格式,在自家昇腾芯片上跑赢了西方主导的 MXFP4

Import AI 454: Automating alignment research; safety study of a Chinese model; HiFloat4

华为的研究员在自家昇腾 NPU 上测试了一种叫 HiFloat4 的 4 比特训练格式,跟西方主导的 MXFP4 格式比,HiFloat4 的精度损失更小。具体来说,在 Llama 和 Qwen 模型上,HiFloat4 跟全精度 BF16 基准的误差能控制在 1% 左右,而 MXFP4 即使加了随机舍入等一堆稳定技巧,误差也有 1.5%。这背后可能跟...

推荐理由:Jack Clark用三件事拼出一期:Anthropic拿Claude Opus 4.6做自动化对齐研究,800小时花约1.8万美元把PGR从人类基线0.23提到0.97,说明小团队也能跑对齐实验;HiFloat4在华为昇腾NPU上推理损失约1.0%,比MXFP4的约1.5%好,但正文没披露更多硬件细节;中国模型安全研究部分给出了安全评估框架,但具体模型名和测试集没展开。整体是研究评论而非一手发布,信息密度够,适合放进精选。

读原文 ↗导出 Markdown