跳到正文
Hacker News 首页

Slotstream 让 48GB 内存的 Mac 跑起 104GB 的 Qwen 大模型,速度约每秒 12 个 token

Show HN: Running 104GB Qwen3.8-Flash-Next on 48GB Mac with at ~12 tok/s

开发者 carloslfu 开源 slotstream,通过从 SSD 流式加载专家权重,让 125B MoE、4-bit 下 104GB 的 Qwen3.8-Flash-Next 在 48GB Mac 上以约 12 tok/s 运行。项目基于 MLX + Swift,提供 Ollama 兼容 API,仓库当前 35 Star、63 次提交。

推荐理由:开发者 carloslfu 开源 slotstream,从 SSD 流式加载专家权重,让 104GB 的 Qwen 模型在 48GB Mac 上以约 12 tok/s 运行,并附带 Ollama 兼容接口。

读原文 ↗导出 Markdown