让 GPU 别闲着:用异步批处理榨干推理性能
Hugging Face 发现,一个 80 亿参数的模型在生成 8000 个 token 时,GPU 有 24% 的时间在空转。原因出在同步批处理上:CPU 准备下一批数据时,GPU 只能干等,反之亦然。这篇文章讲的是怎么用 CUDA 流把这两件事拆开并行,让 CPU 准备第 N+1 批的同时,GPU 已经在算第 N 批,把空闲缝隙填满。
推荐理由:Hugging Face 指出 80 亿参数模型生成 8000 个 token 时 GPU 有 24% 时间空转,并给出用 CUDA 流让 CPU 与 GPU 并行、填满空闲缝隙的具体做法。