腾讯混元 Hy3 的 1-bit 量化:单卡能装下,离好用还有多远
腾讯给 295B 参数的混元 Hy3 模型做了 IQ1_M 量化,文件大小约 85.5 GiB,能塞进一张 96GB 显卡。但“1-bit”只是量化规格的名字,实际每个权重平均占 2.4 bit 左右,因为注意力、嵌入等关键层保留了更高精度。单卡跑起来,显存依然很紧:权重加上 64K 上下文的 KV cache 就吃掉近 94 GiB,只剩 2 GiB...
推荐理由:这是一篇动手实测,不是官方通稿。用真实数字回答了'装进一张卡之后还剩多少显存、速度怎么样、精度掉在哪',三个维度都踩中了。但作为单篇技术评测而非官方发布,重要性给 74、tier 给 featured 是合理的。