跳到正文
r/LocalLLaMA

RX 7900 XTX 跑 Qwen3.8 27B:Ollama 和 llama.cpp 差距不到 4%,但开 MTP 后速度翻倍

Qwen3.8 27B on RX 7900 XTX: Ollama ROCm vs llama.cpp Vulkan results

一位用户在 RX 7900 XTX 上对比了 Ollama ROCm 和 llama.cpp Vulkan 跑 Qwen3.8 27B Q4_K_M 的性能。纯解码速度上,llama.cpp Vulkan 只比 Ollama 快约 4%(36 vs 34.4 t/s),而 Ollama 在 64K 上下文的提示处理上反而领先(215.8 vs 192 ...

读原文 ↗导出 Markdown