# Swiftlet 让 Mac 用 4.3 GB 内存跑 80B 模型，iPhone 也能跑 35B

> 原标题：Swiftlet：在 Mac 上运行 80B 版 Qwen（内存 4.3 GB），在 iPhone 上运行 35B 版

- 来源：AI HOT 精选
- 发布时间：2026-08-04T06:32:44.149Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/48606
- 原文：https://github.com/leonickson1/Swiftlet

## 摘要

Swiftlet 用 Swift 和 Metal 重写了 MoE 模型的推理方式，只把一个小型稠密核心常驻内存，专家权重按需从存储流式加载，不用全塞进内存。一个 80B 的 Qwen3-Next 在 Mac 上只占 4.3 GB 内存，35B 模型能跑在 iPhone 上。正文没给出延迟或每秒 token 数，所以实时性先别太期待。

## 推荐理由

Swiftlet 用 Swift 和 Metal 重写 MoE 推理，把专家权重改为按需流式加载，80B 的 Qwen3-Next 在 Mac 上仅占 4.3 GB 内存，35B 模型可跑在 iPhone 上。

## 锐评

4.3 GB 跑 80B，这个数字的意义在于它把 MoE 的专家权重从内存挪到了存储，代价是每次都要读盘。所以能不能用主要看 SSD 的随机读速度，Mac 内置盘还行，外接盘基本没戏。没给 token/s 我倾向于先当 demo 看，流式加载专家权重的延迟大概率是秒级起步，聊天能忍，agent 里串几十次调用就没法用了。方向对，但别指望拿它替代 API。
