# Mesh LLM 把多台机器的 GPU 拼成一个推理网格，对外暴露 OpenAI 兼容接口

> 原标题：Mesh LLM: distributed AI computing on iroh

- 来源：Hacker News 首页
- 发布时间：2026-07-11T22:38:57.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/43811
- 原文：https://www.iroh.computer/blog/mesh-llm

## 摘要

n0 团队开源了 Mesh LLM，它能把几台普通电脑的 GPU 和内存凑在一起跑大模型，最后在 localhost:9337/v1 提供一个 OpenAI 兼容的 API。请求可以本地执行、转发给已加载模型的节点，或者把一个大模型按层拆到多台机器上流水线推理。底层用 iroh 做 NAT 穿透和直连 QUIC，没有中心服务器。

## 推荐理由

n0 团队开源的 Mesh LLM 能把几台普通电脑的 GPU 和内存拼起来跑大模型，并在本地提供 OpenAI 兼容接口，请求可本地执行、转发或按层拆分做流水线推理。

## 锐评

把几台机器的 GPU 拼起来跑推理，这个方向我信，但 Mesh LLM 现在只能算个 demo。卡人的是流水线拆层的通信开销，层与层之间每步都要传 activation，普通家用网络那点带宽和延迟，跑起来大概率比单卡还慢。iroh 做 NAT 穿透和 QUIC 直连是这套东西里最靠谱的部分，没有中心服务器对隐私敏感的团队确实有吸引力。反正现在没有真实性能数据，想上先拿两台机器实测吞吐，别光看架构图。
