# Slotstream 让 48GB 内存的 Mac 跑起 104GB 的 Qwen 大模型，速度约每秒 12 个 token

> 原标题：Show HN: Running 104GB Qwen3.8-Flash-Next on 48GB Mac with at ~12 tok/s

- 来源：Hacker News 首页
- 发布时间：2026-09-01T16:42:46.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/54116
- 原文：https://github.com/carloslfu/slotstream

## 摘要

开发者 carloslfu 开源 slotstream，通过从 SSD 流式加载专家权重，让 125B MoE、4-bit 下 104GB 的 Qwen3.8-Flash-Next 在 48GB Mac 上以约 12 tok/s 运行。项目基于 MLX + Swift，提供 Ollama 兼容 API，仓库当前 35 Star、63 次提交。

## 推荐理由

开发者 carloslfu 开源 slotstream，从 SSD 流式加载专家权重，让 104GB 的 Qwen 模型在 48GB Mac 上以约 12 tok/s 运行，并附带 Ollama 兼容接口。

## 锐评

48GB 内存跑 104GB 的 MoE，靠的是把专家权重放 SSD 上按需流式加载，12 tok/s 这个速度已经能用了，比不少人在云上排队等 API 还快。MoE 每次只激活一小撮专家，剩下的权重本来就不该常驻内存，这个思路对本地部署是实打实的省钱。35 star、63 次提交，还没人踩过坑，长上下文和并发下 SSD 随机读会不会拖垮速度，现在没人知道。想在自己机器上跑大模型的可以盯一下这个仓库，生产环境先别切。
