用 4 张老 RTX 2080 Ti 在本地跑 DeepSeek-V4,预填充跑到 255 token/s
Running DeepSeek-V4 locally with 4x legacy RTX 2080 Ti ($2k budget setup). Custom Turing kernels, W8A8 quantization, and 255 prefill tok/s!
一个 Reddit 用户用 4 张 RTX 2080 Ti 显卡(总预算不到 2500 美元)在本地跑起了 DeepSeek-V4-Flash 模型。模型总参数 2840 亿,每次推理激活 130 亿参数。他用了 W8A8 量化(把权重和激活值都压到 8 位精度)来省显存,还自己写了适配老 Turing 架构的 CUDA 算子。
推荐理由:一位 Reddit 用户用 4 张二手 RTX 2080 Ti,配合 W8A8 量化和自写 Turing CUDA 算子,在不到 2500 美元预算下本地跑起 284B 参数的 DeepSeek-V4-Flash,预填充约 255 token/s。