跳到正文
r/LocalLLaMA

Cloudflare 开源 Unweight:把大模型权重压缩 22%,输出结果一个字节都不差

Unweight: how we compressed an LLM 22% without sacrificing quality

Cloudflare 发了一个叫 Unweight 的压缩方案,专门解决大模型在 GPU 上跑时被显存带宽卡脖子的问题。它只压缩 BF16 格式里的指数位,不碰尾数,所以解压后能还原出完全一致的输出。实测一个 8B 模型能省下约 3GB 显存,压缩率在 15% 到 22% 之间。

推荐理由:Cloudflare 开源 Unweight,只压缩 BF16 权重里的指数位,解压后输出与原始模型完全一致,8B 模型可省约 3GB 显存。

读原文 ↗导出 Markdown