跳到正文
r/LocalLLaMA

dlmserve 开源:首个为扩散语言模型设计的推理引擎,支持 LLaDA-8B,吞吐量是 HuggingFace 的 2.5 倍

[OSS] dlmserve - first serving engine for diffusion language models

Reddit 上有人放出了一个叫 dlmserve 的开源项目,MIT 协议,专门给扩散语言模型做推理服务。它第一个支持的模型是 LLaDA-8B-Instruct,这种模型生成文本的方式和常见的自回归模型不一样,是一步步“去噪”出完整回答。引擎对外提供兼容 OpenAI 的 /v1/chat/completions 接口,方便直接替换。

推荐理由:Reddit 用户开源了 dlmserve,为扩散语言模型提供兼容 OpenAI 接口的推理服务,并给出 LLaDA-8B 在 batch=4 下吞吐量达 HuggingFace 2.5 倍的数据。

读原文 ↗导出 Markdown