跳到正文
AI HOT 精选

腾讯混元放出 Hy3 的 1-bit 和 4-bit 压缩版,295B 模型能在单张显卡上跑

腾讯混元发布 Hy3 1-bit 与 4-bit 版本

混元把 295B 参数的 Hy3 模型压成了 1-bit 和 4-bit 版本,通过 llama.cpp 加 MTP(多 token 预测)就能在单张 GPU 上运行。GGUF 格式的文件已经挂在 HuggingFace 上,可以直接下载。不过正文没给出具体的硬件要求、推理速度或精度损失数据,实际效果得自己跑一下才知道。

推荐理由:腾讯混元把 295B 的 Hy3 压成 1-bit 和 4-bit 版本,GGUF 文件已挂上 HuggingFace,单张 GPU 即可运行,量化模型在消费级硬件上的落地路径有了具体样本。

读原文 ↗导出 Markdown