跳到正文
Hacker News 首页

DeepGrove 开源 Maple-Preview:一个 20B 参数的三值 MoE 模型,在 iPhone 上跑到 127 tok/s

Show HN: Maple-Preview – ternary 20B MoE running at 120 tok/s on a iPhone

DeepGrove 放出了一个叫 Maple-Preview 的开源模型,总参数量 200 亿,但每次推理只激活 10 亿参数,权重用的还是三值(-1, 0, 1),所以模型文件只有 5.31 GB。

推荐理由:DeepGrove 开源了 20B 参数的三值 MoE 模型 Maple-Preview,每次推理只激活 1B 参数,权重为三值,模型文件仅 5.31 GB。

读原文 ↗导出 Markdown