跳到正文
Hacker News 首页emschwartz

Cerebras 分离式推理投入生产,每兆瓦吞吐量提升至 5 倍

Cerebras Disaggregated Inference

Cerebras 已将分离式推理投入生产,由 AMD Instinct GPUs 处理提示词、CS-3 生成响应,在保持 token 生成速度的同时实现纯 CS-3 配置每兆瓦吞吐量的 5 倍。

读原文 ↗导出 Markdown