热点事件持续更新
Cerebras披露万亿参数模型晶圆部署方案
1 篇报道1 个报道来源4 小时前更新
先了解这件事
AI 综述
10月25日,Hacker News 首页报道了 Cerebras 披露的万亿参数模型部署方法。该方案以约3万亿参数的开源模型 Kimi K3 为例,将69层线性注意力层与24层稠密层分布到59片 WSE-3T 晶圆上,实现每秒1000至2000以上 tokens 的推理速度。每片晶圆配备44 GB片上内存,单层约占16 GB;模型权重常驻片上,仅激活值通过基于以太网的 RDMA 在晶圆间传递,每跳耗时约2微秒。目前报道披露了部署规模、内存配置及跨晶圆通信方式。
AI 根据报道生成 · 2 小时前更新
最新进展10月25日 09:33
Cerebras披露用59片 WSE-3T 晶圆部署约3万亿参数 Kimi K3 的方案。报道时间线
沿着报道,了解事件的不同侧面。
10月25日
- Hacker News 首页Cerebras 如何用 59 片 WSE-3T 晶圆部署 3T 参数 Kimi K3
Cerebras 披露在 WSE-3T 晶圆上部署万亿参数模型的方法:以约 3T 参数的开源模型 Kimi K3 为例,将 69 层线性注意力层与 24 层稠密层分布到 59 片晶圆,实现 1000-2000+ tokens/s 的推理速度。每片晶圆有 44 GB 片上内存,单层约 16 GB,模型权重常驻片上、仅激活值经 RDMA over Ethernet 在晶圆间传递,每跳约 2 微秒。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。