# 让 GPU 别闲着：用异步批处理榨干推理性能

> 原标题：解锁连续批处理中的异步性

- 来源：AI HOT 精选
- 发布时间：2026-05-14T00:00:00.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/20630
- 原文：https://huggingface.co/blog/continuous_async

## 摘要

Hugging Face 发现，一个 80 亿参数的模型在生成 8000 个 token 时，GPU 有 24% 的时间在空转。原因出在同步批处理上：CPU 准备下一批数据时，GPU 只能干等，反之亦然。这篇文章讲的是怎么用 CUDA 流把这两件事拆开并行，让 CPU 准备第 N+1 批的同时，GPU 已经在算第 N 批，把空闲缝隙填满。

## 推荐理由

Hugging Face 指出 80 亿参数模型生成 8000 个 token 时 GPU 有 24% 时间空转，并给出用 CUDA 流让 CPU 与 GPU 并行、填满空闲缝隙的具体做法。

## 锐评

24% 的 GPU 空转时间，这个数比任何 benchmark 都值钱。跑线上服务的都懂，卡是按小时租的，空转就是白烧钱，80B 模型生成 8000 token 这种长输出场景，CPU 准备数据的开销被放大得最明显。CUDA 流把 CPU 和 GPU 拆开并行，思路不新，但 HF 把具体数字摆出来了，照着改一遍就能把这块缝隙填上。反正推理成本压不下来的时候，这种工程活比换模型实在。
