Cloudflare 开源 Unweight：把大模型权重压缩 22%，输出结果一个字节都不差

Unweight: how we compressed an LLM 22% without sacrificing quality

Cloudflare 发了一个叫 Unweight 的压缩方案，专门解决大模型在 GPU 上跑时被显存带宽卡脖子的问题。它只压缩 BF16 格式里的指数位，不碰尾数，所以解压后能还原出完全一致的输出。实测一个 8B 模型能省下约 3GB 显存，压缩率在 15% 到 22% 之间。原理是模型某一层里超过 99% 的权重只用到 16 种指数值，Unweig...

推荐理由：Cloudflare 这篇 Unweight 的卖点很直：不改模型输出，把权重无损压缩 15% 到 22%。他们盯的是 BF16 里浪费的指数字节，发现大部分层的指数值就那么几个，所以只压这部分。8B 模型能省出 3GB 显存，对跑 H100 的人来说是实打实的成本优化。我会先打个折——正文没给吞吐实测数字，也没说哪些模型能用，片上解压和动态执行管线听起来有料但细节没展开。这点先别太激动，等他们补上实测再判断实际收益。