跳到正文
AI HOT 精选

腾讯混元把自家线上推理用的高性能算子开源了,并合进了 SGLang 主干

HPC-Ops × SGLang:腾讯混元开源高性能 Attention、Router GEMM 与 MoE 算子

腾讯混元 AI Infra 团队把他们在生产环境里打磨的 Attention、Router GEMM 和 MoE 算子打包成 HPC-Ops 开源,并直接合入了 SGLang 的主分支。这些算子专门针对混合专家模型(MoE)推理里的三个性能瓶颈:解码时不同请求的上下文长度差异巨大,静态分配计算任务会导致 GPU 空等。

推荐理由:腾讯混元将生产环境打磨的 Attention、Router GEMM 和 MoE 算子开源并合入 SGLang 主分支,针对 MoE 推理中请求长度差异导致的 GPU 空等问题给出具体做法。

读原文 ↗导出 Markdown