跳到正文
Hacker News 首页

AirLLM 让一张 4GB 显卡就能跑 70B 大模型

AirLLM 70B inference with single 4GB GPU

这个开源库把 Llama 3 70B 这样的大模型按层拆开,每次只加载一层到显存里算,算完再换下一层,所以一张只有 4GB 显存的普通显卡也能跑推理,不用多卡并联。它支持 Llama、Mistral、ChatGLM 等主流架构,直接兼容 HuggingFace 上的模型。代价是速度会慢不少,但把本地跑大模型的硬件门槛压到了笔记本级别。

推荐理由:AirLLM 把 70B 模型按层拆开逐层加载,让 4GB 显存显卡也能跑推理,硬件门槛降到笔记本级别,代价是速度变慢。

读原文 ↗导出 Markdown