跳到正文
r/LocalLLaMA

网友在双 DGX Spark 上跑 DeepSeek V4 Flash:预填充 1680 token/s,解码 39.8 token/s

Deepseek V4 flash performance on DGX Spark

一位 Reddit 用户用两台华硕 GX10(DGX Spark)组了个小集群,通过 vLLM 加载 DeepSeek-V4-Flash 模型。在 256K 上下文窗口、开启多 token 预测(MTP=2)的设置下,测得预填充速度 1680 token/s,解码速度 39.8 token/s。

推荐理由:Reddit 用户用两台华硕 GX10 组成集群,在 256K 上下文下实测 DeepSeek-V4-Flash 的预填充与解码速度,并给出张量并行、RoCE 网络等完整配置。

读原文 ↗导出 Markdown