Skip to content
Hacker News front pageemschwartz

Cerebras Disaggregated Inference

Cerebras 已将分离式推理投入生产,由 AMD Instinct GPUs 处理提示词、CS-3 生成响应,在保持 token 生成速度的同时实现纯 CS-3 配置每兆瓦吞吐量的 5 倍。

Read the original ↗Export Markdown