# Cloudflare 开源 Unweight：把大模型权重压缩 22%，输出结果一个字节都不差

> 原标题：Unweight: how we compressed an LLM 22% without sacrificing quality

- 来源：r/LocalLLaMA
- 发布时间：2026-04-19T09:06:39.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/6413
- 原文：https://www.reddit.com/r/LocalLLaMA/comments/1spnx1l/unweight_how_we_compressed_an_llm_22_without/

## 摘要

Cloudflare 发了一个叫 Unweight 的压缩方案，专门解决大模型在 GPU 上跑时被显存带宽卡脖子的问题。它只压缩 BF16 格式里的指数位，不碰尾数，所以解压后能还原出完全一致的输出。实测一个 8B 模型能省下约 3GB 显存，压缩率在 15% 到 22% 之间。

## 推荐理由

Cloudflare 开源 Unweight，只压缩 BF16 权重里的指数位，解压后输出与原始模型完全一致，8B 模型可省约 3GB 显存。

## 锐评

只压指数位、尾数不动，所以输出一个字节不差，这个思路挺聪明。BF16 里指数那 8 位本来就浪费，大部分层的取值就那么几个，压掉它省 15% 到 22% 显存，8B 模型省 3GB，对显存卡脖子的人是实打实的。省显存和提吞吐是两回事，片上解压要占算力和带宽，压完可能反而更慢。Cloudflare 没给吞吐数字，也没说支持哪些模型，我暂时不打算动线上。
