dlmserve 开源：首个为扩散语言模型设计的推理引擎，支持 LLaDA-8B，吞吐量是 HuggingFace 的 2.5 倍

[OSS] dlmserve - first serving engine for diffusion language models

Reddit 上有人放出了一个叫 dlmserve 的开源项目，MIT 协议，专门给扩散语言模型做推理服务。它第一个支持的模型是 LLaDA-8B-Instruct，这种模型生成文本的方式和常见的自回归模型不一样，是一步步“去噪”出完整回答。引擎对外提供兼容 OpenAI 的 /v1/chat/completions 接口，方便直接替换。性能方面，在批...

推荐理由：我会先打个折：目前只有 Reddit 一个信源，生态还很早期，所以分数没往上拉。但这条信息本身对玩本地模型的人挺实用——扩散语言模型一直缺好用的推理引擎，dlmserve 直接说自己是第一个，还给了 batch=4 下 2.5 倍 HF 吞吐、12GB 显存可跑这些具体数字，不是空喊口号。MIT 协议和 OpenAI 兼容接口也让试错成本变低。这点先别太激动，但值得放进雷达让读者知道有这么个东西出现了。