跳到正文
Computing Life · Share · 鸭哥调研

腾讯混元 Hy3 的 1-bit 量化:单卡能装下,离好用还有多远

腾讯给 295B 参数的混元 Hy3 模型做了 IQ1_M 量化,文件大小约 85.5 GiB,能塞进一张 96GB 显卡。但“1-bit”只是量化规格的名字,实际每个权重平均占 2.4 bit 左右,因为注意力、嵌入等关键层保留了更高精度。

推荐理由:腾讯把 295B 参数的混元 Hy3 压到约 85.5 GiB,能塞进一张 96GB 显卡,而所谓 1-bit 实际每权重平均约 2.4 bit,关键层仍保留更高精度。

读原文 ↗导出 Markdown