跳到正文
r/LocalLLaMA

M3 Ultra 加 DGX Spark,能拼出一台 M5 Ultra-lite 吗?

M3 Ultra + DGX Spark = M5 Ultra-lite?

Reddit 有人拿 DGX Spark 和 M3 Ultra 在 llama.cpp 里跑分,统一用 pp16384 上下文。Spark 比 M3 Ultra 快 1.4 到 3.4 倍,看模型:Qwen 27B 跑到 778 token/秒,M3 Ultra 是 340;Mistral 128B 跑到 241,M3 Ultra 只有 72。

推荐理由:Reddit 用户用 llama.cpp 在 pp16384 上下文下对比 DGX Spark 与 M3 Ultra 的推理速度,Spark 在 Qwen 27B 和 Mistral 128B 上快 1.4 到 3.4 倍。

读原文 ↗导出 Markdown