跳到正文
Hacker News 首页

Mesh LLM 把多台机器的 GPU 拼成一个推理网格,对外暴露 OpenAI 兼容接口

Mesh LLM: distributed AI computing on iroh

n0 团队开源了 Mesh LLM,它能把几台普通电脑的 GPU 和内存凑在一起跑大模型,最后在 localhost:9337/v1 提供一个 OpenAI 兼容的 API。请求可以本地执行、转发给已加载模型的节点,或者把一个大模型按层拆到多台机器上流水线推理。底层用 iroh 做 NAT 穿透和直连 QUIC,没有中心服务器。

推荐理由:n0 团队开源的 Mesh LLM 能把几台普通电脑的 GPU 和内存拼起来跑大模型,并在本地提供 OpenAI 兼容接口,请求可本地执行、转发或按层拆分做流水线推理。

读原文 ↗导出 Markdown