Skip to content
Hacker News front pagekhalidkhair

Janas: Run LLMs larger than RAM by streaming experts from SSD

Janas-LLM 通过从 NVMe SSD 按需读取专家权重并缓存常用专家,在 32 GB 内存笔记本上运行 48.4 GB 的 Qwen3-Next-80B-A3B。

Read the original ↗Export Markdown