DeepGrove 开源 Maple-Preview:一个 20B 参数的三值 MoE 模型,在 iPhone 上跑到 127 tok/s
Show HN: Maple-Preview – ternary 20B MoE running at 120 tok/s on a iPhone
DeepGrove 放出了一个叫 Maple-Preview 的开源模型,总参数量 200 亿,但每次推理只激活 10 亿参数,权重用的还是三值(-1, 0, 1),所以模型文件只有 5.31 GB。它在 M4 Mac mini 上能跑到每秒 218 个 token,在 iPhone 上跑到 127 tok/s,比 1-bit 的 Bonsai 27B...
推荐理由:一个三值权重的 MoE 模型能在手机上跑出 127 tok/s 还带奥数级推理能力,放在 featured 里没毛病。没给更高分是因为目前只有模型卡自报的数据,没有第三方跑分或真实场景验证,我会先打个折,82 分先挂着,等有人复现了再调。