# Multiverse 搞了个“量化感知修复术”，让 4-bit 压缩模型跑赢了原版全精度模型

> 原标题：Quantization-Aware Healing: a compressed, 4-bit model that outperforms its full-precision original

- 来源：Hugging Face 博客
- 发布时间：2026-08-25T11:39:24.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/53847
- 原文：https://huggingface.co/blog/MultiverseComputingCAI/quantization-aware-healing

## 摘要

Multiverse Computing 在 Hugging Face 博客发布论文《Quantization-Aware Healing: A Practical Recipe for Recovering Compressed, 4-Bit LLMs》，提出 QAH 方法：不再从恢复后的 bfloat16 检查点蒸馏，而是直接从压缩前的原始全精度模型蒸馏，师生架构可以不同。

## 推荐理由

Multiverse Computing 提出 QAH 方法，从压缩前的原始全精度模型蒸馏来修复 4-bit 量化模型，师生架构可不同，为压缩后性能恢复提供了一条可迁移的路径。

## 锐评

4-bit 打赢全精度，这种结果我第一反应是评测选得巧。9 项基准赢 7 项，剩下 2 项输多少一个字没提，量化圈这种报法见得太多了。方法本身有点意思，直接从压缩前的原始全精度模型蒸馏，师生架构还能不一样，绕开了恢复后的 bfloat16 检查点这个中间商。GPT-OSS 120B 砍到 60B 再压 MXFP4，参数量和位宽都掉了一大截，还能在多数任务上反超，要么原模型本身有冗余，要么那 7 项基准对量化误差不敏感。修复阶段烧了多少算力和数据没写，省下的推理钱能不能盖住修复的账就算不清。想复现的先自己跑一遍那 2 项输的。
