跳到正文
Latent Space

推理算力到了爆发点:CPU 不够用,GPU 也在被拆着用

[AINews] The Inference Inflection

Latent Space 这期把近期几条线索串了起来:AI 的推理(inference)需求正在急剧膨胀。黄仁勋在 GTC 上说,过去两年单次任务的算力消耗涨了约 1 万倍,总用量涨了约 100 倍,他管这叫“推理拐点”。

推荐理由:黄仁勋在 GTC 给出单次任务算力两年涨约 1 万倍、总用量涨约 100 倍的数据,Latent Space 由此串起推理需求膨胀与 CPU 沙箱、智能体调度等实际负载的关联。

读原文 ↗导出 Markdown