跳到正文
Hugging Face 博客

Multiverse 搞了个“量化感知修复术”,让 4-bit 压缩模型跑赢了原版全精度模型

Quantization-Aware Healing: a compressed, 4-bit model that outperforms its full-precision original

Multiverse Computing 在 Hugging Face 博客发布论文《Quantization-Aware Healing: A Practical Recipe for Recovering Compressed, 4-Bit LLMs》,提出 QAH 方法:不再从恢复后的 bfloat16 检查点蒸馏,而是直接从压缩前的原始全精度模型蒸馏,师生架构可以不同。

推荐理由:Multiverse Computing 提出 QAH 方法,从压缩前的原始全精度模型蒸馏来修复 4-bit 量化模型,师生架构可不同,为压缩后性能恢复提供了一条可迁移的路径。

读原文 ↗导出 Markdown