TurboFieldfare:让 8GB Mac 跑起 26B 模型,内存只占 2GB
Show HN: Open-source engine running Gemma 4 26B in 2 GB RAM on any M-series Mac
一个用 Swift 和 Metal 写的推理引擎,能在任何 M 系列 Mac 上跑 Gemma 4 26B 模型,内存占用压到 2GB 左右。模型本身 4-bit 量化后还有 14GB 大,常规工具在 8GB 内存的 Mac 上根本跑不动。
推荐理由:一个用 Swift 和 Metal 写的开源推理引擎,把 4-bit 量化后仍有 14GB 的 Gemma 4 26B 压到约 2GB 内存,让 8GB Mac 也能跑起来。