# Moondream 用流水线解码挤掉 GPU 空闲气泡，解码吞吐量提升最高 35%

> 原标题：Popping the GPU Bubble

- 来源：Hacker News 首页
- 发布时间：2026-06-30T05:14:35.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/41434
- 原文：https://moondream.ai/blog/popping-the-gpu-bubble

## 摘要

Moondream 的 Photon 推理引擎在 B200 上跑 VLM 能到 33 毫秒左右。瓶颈不在算力，在 GPU 气泡：每生成一个 token，GPU 都得等 CPU 做完记账、采样、调度这些杂活才能开始算下一个。

## 推荐理由

Moondream 的 Photon 引擎在 B200 上把 VLM 推理压到 33 毫秒左右，并指出瓶颈是每生成一个 token 时 GPU 等待 CPU 记账、采样和调度的空闲气泡。

## 锐评

35% 这个数挺唬人，可它只在 Moondream 自家的 Photon 引擎里成立，换模型换硬件大概率缩水。GPU 气泡这事做推理的都清楚，每吐一个 token 都要等 CPU 记账采样调度，卡再贵也白等。他们用流水线解码把这段空档填上，思路不新，能落到 B200 上跑出 33 毫秒算工程做得细。这种单家优化看看调度怎么排就行，别指望照搬过来省三成卡钱。
