# 用 4 张老 RTX 2080 Ti 在本地跑 DeepSeek-V4，预填充跑到 255 token/s

> 原标题：Running DeepSeek-V4 locally with 4x legacy RTX 2080 Ti ($2k budget setup). Custom Turing kernels, W8A8 quantization, and 255 prefill tok/s!

- 来源：r/LocalLLaMA
- 发布时间：2026-05-20T00:41:20.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/23830
- 原文：https://www.reddit.com/r/LocalLLaMA/comments/1ti5sxu/running_deepseekv4_locally_with_4x_legacy_rtx/

## 摘要

一个 Reddit 用户用 4 张 RTX 2080 Ti 显卡（总预算不到 2500 美元）在本地跑起了 DeepSeek-V4-Flash 模型。模型总参数 2840 亿，每次推理激活 130 亿参数。他用了 W8A8 量化（把权重和激活值都压到 8 位精度）来省显存，还自己写了适配老 Turing 架构的 CUDA 算子。

## 推荐理由

一位 Reddit 用户用 4 张二手 RTX 2080 Ti，配合 W8A8 量化和自写 Turing CUDA 算子，在不到 2500 美元预算下本地跑起 284B 参数的 DeepSeek-V4-Flash，预填充约 255 token/s。

## 锐评

255 token/s 的 prefill 是拿 4 张 2080 Ti 跑出来的，这套卡二手加起来不到 2500 美元，比一张新卡还便宜。284B 的 MoE 每次只激活 13B，配上 W8A8 量化，显存刚好塞得下，这个组合挺聪明。不过这是单用户自报，没提并发、上下文长度和 decode 吞吐，当采购依据还早。我信的是老 Turing 卡在量化加自写内核下还能打这个方向，预算紧的团队可以顺着这条路摸。
