SGLang 第一时间适配 Meta 的本地智能体模型 Muse Glimmer，单卡 RTX 5090 跑到每秒 1452 个 token

SGLang 为 Muse Glimmer 提供 Day-0 支持，针对本地智能体工作流优化推理

Meta 发布了 Muse Glimmer，一个 300 亿参数的多模态模型，专门为在本地硬件上跑智能体工作流设计。SGLang 推理框架在发布当天就提供了支持，并做了针对性优化。在单张 RTX 5090 显卡上，用 NVFP4 量化格式搭配 DFlash 投机解码技术，每个用户的解码速度能达到每秒 236 个 token，总吞吐量冲到每秒 1452 ...

推荐理由：Meta 发新模型本身是行业事件，但这篇文章的重点是 SGLang 的推理优化，不是模型本身。好在性能数字够硬，236 tok/s 和 1452 tok/s 这两个数让它的信息密度够上 featured。不过受众窄，只对搞本地推理的人有吸引力，所以 r 给了 false。