# 智谱 GLM-5.1 API 跑到每秒 400 个 token，靠的不是优化，是换了一套执行逻辑

> 原标题：GLM-5.1 达到 400 tokens/s 背后的技术：当推理速度成为新的 Scaling Law

- 来源：Computing Life · Share · 鸭哥调研
- 发布时间：2026-05-22T00:00:00.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/26236
- 原文：https://yage.ai/share/glm51-highspeed-api-20260522.html

## 摘要

智谱在 5 月 22 日放出了 GLM-5.1 高速版 API，输出速度标称 400 tokens/s，是人类阅读速度的 80 倍以上。这个速度不是靠传统编译优化“调”出来的，而是底层的 TileRT 推理引擎把 GPU 的工作模式从“批处理车间”改成了“连续流水线”——取消计算步骤之间的等待和隔离，让数据持续流动，GPU 不再频繁启停。

## 推荐理由

智谱发布 GLM-5.1 高速版 API，输出速度标称 400 tokens/s，其 TileRT 推理引擎把 GPU 从批处理改为连续流水线执行，取消计算步骤间的等待与隔离。

## 锐评

400 tokens/s 先当营销看，没并发数、没输入长度、没计费规则，跑分口径全在厂商手里。TileRT 那套说法倒有点意思，取消计算步骤之间的等待和隔离，让 GPU 别频繁启停。这个方向我信，推理的瓶颈早就不在算力本身，在调度和显存搬运。可摘要里就这一句，怎么重构执行模型一个字没展开，等于只给了个名词。等有人拿真实负载压一遍，看长 context 下还稳不稳，再决定要不要接。
