智谱 GLM-5.1 API 跑到每秒 400 个 token,靠的不是优化,是换了一套执行逻辑
GLM-5.1 达到 400 tokens/s 背后的技术:当推理速度成为新的 Scaling Law
智谱在 5 月 22 日放出了 GLM-5.1 高速版 API,输出速度标称 400 tokens/s,是人类阅读速度的 80 倍以上。这个速度不是靠传统编译优化“调”出来的,而是底层的 TileRT 推理引擎把 GPU 的工作模式从“批处理车间”改成了“连续流水线”——取消计算步骤之间的等待和隔离,让数据持续流动,GPU 不再频繁启停。
推荐理由:智谱发布 GLM-5.1 高速版 API,输出速度标称 400 tokens/s,其 TileRT 推理引擎把 GPU 从批处理改为连续流水线执行,取消计算步骤间的等待与隔离。