本地跑模型终于好用了:Vicki Boykis 的 M2 Mac 实测体验
Running local models is good now
Vicki Boykis 用一台 64GB 内存的 M2 Mac 跑本地模型超过一年,现在她觉得这些模型真的能干活了。她主要用 Gemma 4 的 26B 和更新的 12B qat 版本,通过 Pi 做智能体编程,效果大概能达到顶尖闭源模型的 75%。整套环境跑在权限受限的 Docker 容器里,推理服务用 LM Studio。
推荐理由:Vicki Boykis 用 64GB 内存的 M2 Mac 跑本地模型超过一年,记录 Gemma 4 的 26B 与 12B qat 版本在智能体编程中约达顶尖闭源模型 75% 的效果。