Skip to content
Hacker News front pagegiuliomagnifico

DeepX claims inference up to 100B parameters at less than 5 W

韩国边缘 AI 芯片公司 DeepX 完成第二代 AI 加速器 DX-M2 流片,可在低于 5W 功耗下推理最高 1000 亿参数模型,支持 20B-100B 参数(约 3B-20B 激活参数)模型以 10-30 tokens/s 运行。

Read the original ↗Export Markdown