Cerebras 分离式推理投入生产,每兆瓦吞吐量提升至 5 倍
Cerebras Disaggregated Inference
Cerebras 已将分离式推理投入生产,由 AMD Instinct GPUs 处理提示词、CS-3 生成响应,在保持 token 生成速度的同时实现纯 CS-3 配置每兆瓦吞吐量的 5 倍。
Cerebras Disaggregated Inference
Cerebras 已将分离式推理投入生产,由 AMD Instinct GPUs 处理提示词、CS-3 生成响应,在保持 token 生成速度的同时实现纯 CS-3 配置每兆瓦吞吐量的 5 倍。