SGLang 推理框架完整功能将登陆 Google TPU,由 RadixArk 与 Google Cloud 合作推进
RadixArk 与 Google Cloud 合作,将完整 SGLang 功能引入 TPU
SGLang 这个开源推理框架以后能在 Google 的 TPU 上跑了,功能跟 GPU 版对齐。RadixArk 和 Google Cloud 分两步走:现在就可以通过 SGL-JAX 在最新一代 TPU 上跑 Gemma、Qwen、DeepSeek 等模型;今年晚些时候还会推出一个基于 PyTorch 的后端 SGL-torchtpu,让用惯 Py...
推荐理由:SGLang 是生产级推理框架,把它全套功能搬到 TPU 上对部署团队有实际价值。文章给了两条具体路径和已支持的模型,信息扎实。没打更高分是因为这属于基础设施层面的合作,影响面集中在工程圈。