跳到正文
Hacker News 首页

PrismML 把 27B 模型压到 5.9GB,跑分只掉了不到 2%

Bonsai 2 27B: Near-Lossless Compression in a 9x Smaller Footprint

PrismML 开源了 Bonsai 2 27B,这是基于 Qwen3.8 27B 做的三值量化版。它把模型权重压缩到只有 -1、0、+1 三种值,再配合 FP16 的分组缩放,每个权重只占 1.76 比特,整个模型文件只有 5.9GB,比原版小了 9 倍多。跑分方面,综合基准测试得分 83.9,保留了原版 85.4 分 98.2% 的水平,在编程、智...

读原文 ↗导出 Markdown