三元大模型打破 1.58 比特的存储下限：BITCOS 靠利用大量零权重把每权重压到 1.485 比特

Breaking the 1.58-bit Barrier for Ternary LLMs

三元模型把每个权重存成 -1、0 或 +1，理论上每个权重至少需要约 1.585 比特，实际打包时通常要 1.625 比特。Intel 作者测了 29 个三元大模型，发现零权重占比最高能到 51.5%。他们据此提出 BITCOS，不再用固定打包，而是用一个位图标记哪些位置是零，再单独存非零权重的正负号，这样每权重的存储成本变成 2 减去零权重比例。在 ...

推荐理由：Intel 团队拿 29 个三元模型实测，发现零权重占比最高能到 51.5%，然后提出 BITCOS 编码——不再固定打包，而是用位图标记零位置、非零只存正负号，把每权重存储成本压到 2 减零权重比例，直接捅破 1.58 比特的地板。标题本身就勾人，对做推理优化的人有吸引力，但话题太窄，没有大众传播力，所以 H 和 K 都成立，R 不成立。