Skip to content
Hacker News front pageAmSach

Show HN: Maple – Sub-2-BPW Moe Pruning to Run Gemma 4 26B at 45 TPS on a 6GB GPU

Maple 发布领域专用 MoE 剪枝流水线及 Gemma 4 26B-A4B 压缩模型,将模型从 9.92 GB 缩至 4.75 GB。项目通过前向激活分析每层移除 80 个专家、保留 48 个专家,报告在 RTX 4050 6GB 笔记本 GPU 上实现全部 30 层驻留显存,生成速度由 6.9 提升至 45.4 Tokens/Sec。

Read the original ↗Export Markdown