# dlmserve 开源：首个为扩散语言模型设计的推理引擎，支持 LLaDA-8B，吞吐量是 HuggingFace 的 2.5 倍

> 原标题：[OSS] dlmserve - first serving engine for diffusion language models

- 来源：r/LocalLLaMA
- 发布时间：2026-05-26T14:46:41.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/28017
- 原文：https://www.reddit.com/r/LocalLLaMA/comments/1to95ja/oss_dlmserve_first_serving_engine_for_diffusion/

## 摘要

Reddit 上有人放出了一个叫 dlmserve 的开源项目，MIT 协议，专门给扩散语言模型做推理服务。它第一个支持的模型是 LLaDA-8B-Instruct，这种模型生成文本的方式和常见的自回归模型不一样，是一步步“去噪”出完整回答。引擎对外提供兼容 OpenAI 的 /v1/chat/completions 接口，方便直接替换。

## 推荐理由

Reddit 用户开源了 dlmserve，为扩散语言模型提供兼容 OpenAI 接口的推理服务，并给出 LLaDA-8B 在 batch=4 下吞吐量达 HuggingFace 2.5 倍的数据。

## 锐评

扩散语言模型终于有人做推理引擎了，LLaDA-8B 在 batch=4 下比 HuggingFace 快 2.5 倍，12GB 显存就能跑，MIT 协议还兼容 OpenAI 接口。这几个数字摆在一起，试错成本基本为零，本地玩家直接拉下来跑就行。

只有 Reddit 一个信源，benchmark 也是作者自己跑的，2.5 倍这个数先当参考。但扩散模型缺推理引擎这件事是真的，有人愿意填这个坑本身就比数字重要。
