跳到正文
Hacker News 首页

三元大模型打破 1.58 比特的存储下限:BITCOS 靠利用大量零权重把每权重压到 1.485 比特

Breaking the 1.58-bit Barrier for Ternary LLMs

arXiv 论文 BITCOS 提出面向三值 LLM 的分布自适应权重布局,用稠密存在位图加压缩符号向量替代五 trit 打包,每权重成本为 2 - z bit(z 为零密度)。

推荐理由:Intel 团队实测 29 个三值模型发现零权重占比最高达 51.5%,据此提出 BITCOS 布局,把每权重存储压到 1.485 比特,并给出 CPU 与 GPU 上的解包实现。

读原文 ↗导出 Markdown