跳到正文
NVIDIA 博客

NVIDIA 把跑千亿参数大模型的机器塞进了桌面

NVIDIA DGX Spark and DGX Station Power the Latest Open-Source and Frontier Models From the Desktop

NVIDIA 在 CES 上展示了两台桌面设备 DGX Spark 和 DGX Station,能在本地跑 1000 亿到 1 万亿参数的开源模型。DGX Station 有 775GB 的统一内存,可以把模型压缩到 NVFP4 格式,压缩率最高 70%,跑 llama.cpp 时推理速度平均提升 35%。

推荐理由:英伟达在 CES 展示的 DGX Spark 和 DGX Station 能在桌面本地运行千亿到万亿参数开源模型,其中 DGX Station 的 775GB 统一内存与 NVFP4 压缩给出了本地部署大模型的硬件配置参考。

读原文 ↗导出 Markdown