# 腾讯混元把自家线上推理用的高性能算子开源了，并合进了 SGLang 主干

> 原标题：HPC-Ops × SGLang：腾讯混元开源高性能 Attention、Router GEMM 与 MoE 算子

- 来源：AI HOT 精选
- 发布时间：2026-08-07T17:51:24.888Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/49361
- 原文：https://www.lmsys.org/blog/2026-08-07-hpc-ops-sglang

## 摘要

腾讯混元 AI Infra 团队把他们在生产环境里打磨的 Attention、Router GEMM 和 MoE 算子打包成 HPC-Ops 开源，并直接合入了 SGLang 的主分支。这些算子专门针对混合专家模型（MoE）推理里的三个性能瓶颈：解码时不同请求的上下文长度差异巨大，静态分配计算任务会导致 GPU 空等。

## 推荐理由

腾讯混元将生产环境打磨的 Attention、Router GEMM 和 MoE 算子开源并合入 SGLang 主分支，针对 MoE 推理中请求长度差异导致的 GPU 空等问题给出具体做法。

## 锐评

合进 SGLang 主干比开源本身有用。腾讯自己线上跑 MoE 推理的算子，直接进主流框架，拉下来就能用，省掉自己 fork 维护的麻烦。MoE 推理最烦的就是不同请求 context 长度差太多，静态分配 GPU 空等，这个痛点做部署的都懂。

没给性能数字，这点得自己跑。生产环境打磨过的东西一般不会太差，但收益多少跟模型和负载强相关，别指望拿来就翻倍。
