跳到正文
Hacker News 首页khalidkhair

Janas 通过 SSD 流式加载专家,运行超出内存容量的大语言模型

Janas: Run LLMs larger than RAM by streaming experts from SSD

Janas-LLM 通过从 NVMe SSD 按需读取专家权重并缓存常用专家,在 32 GB 内存笔记本上运行 48.4 GB 的 Qwen3-Next-80B-A3B。

读原文 ↗导出 Markdown