SGLang 第一时间适配 Meta 的本地智能体模型 Muse Glimmer,单卡 RTX 5090 跑到每秒 1452 个 token
SGLang 为 Muse Glimmer 提供 Day-0 支持,针对本地智能体工作流优化推理
Meta 发布了 Muse Glimmer,一个 300 亿参数的多模态模型,专门为在本地硬件上跑智能体工作流设计。SGLang 推理框架在发布当天就提供了支持,并做了针对性优化。
推荐理由:SGLang 在 Meta 发布 Muse Glimmer 当天完成适配,并针对本地智能体工作流优化推理,单卡 RTX 5090 达到每秒 1452 个 token。