Moondream 用流水线解码挤掉 GPU 空闲气泡,解码吞吐量提升最高 35%
Popping the GPU Bubble
Moondream 的 Photon 推理引擎在 B200 上跑 VLM 能到 33 毫秒左右。瓶颈不在算力,在 GPU 气泡:每生成一个 token,GPU 都得等 CPU 做完记账、采样、调度这些杂活才能开始算下一个。
推荐理由:Moondream 的 Photon 引擎在 B200 上把 VLM 推理压到 33 毫秒左右,并指出瓶颈是每生成一个 token 时 GPU 等待 CPU 记账、采样和调度的空闲气泡。