DeepGrove 开源 Maple-Preview:一个 20B 参数的三值 MoE 模型,在 iPhone 上跑到 127 tok/s
Show HN: Maple-Preview – ternary 20B MoE running at 120 tok/s on a iPhone
DeepGrove 放出了一个叫 Maple-Preview 的开源模型,总参数量 200 亿,但每次推理只激活 10 亿参数,权重用的还是三值(-1, 0, 1),所以模型文件只有 5.31 GB。
推荐理由:DeepGrove 开源了 20B 参数的三值 MoE 模型 Maple-Preview,每次推理只激活 1B 参数,权重为三值,模型文件仅 5.31 GB。