Muse Glimmer:把智能体塞进你设备的,其实是一套伪装成 30B 模型的内存层级
Muse Glimmer is a memory hierarchy disguised as a 30B Transformer
Meta 的 Muse Glimmer 是个约 300 亿参数的多模态模型,专门为在手机或电脑上离线跑智能体任务设计。它的原始 BF16 模型有 55 GiB,根本塞不进消费级显卡,所以 Meta 直接给了 4-bit 量化版,把语言模型压到了 20 GB 以下。
推荐理由:Meta 为让约 300 亿参数的 Muse Glimmer 在手机或电脑上离线运行,将原始 55 GiB 的 BF16 模型量化为 4-bit,语言部分压到 20 GB 以下。