# 我花 6400 美元搭了一台本地大模型服务器，一年下来比用 API 便宜了 700 多

> 原标题：Cost Analysis of my $6.4k Local LLM Server

- 来源：r/LocalLLaMA
- 发布时间：2026-05-30T21:09:05.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/30633
- 原文：https://www.reddit.com/r/LocalLLaMA/comments/1tsbl9j/cost_analysis_of_my_64k_local_llm_server/

## 摘要

作者晒了一台自组的本地大模型服务器，总花费 6406.45 美元，核心配置是 4 张 AMD MI100 显卡，主要跑 Qwen3.6 27B 模型。这台机器每天处理约 2040 万个输入 token 和 132 万个输出 token。他拿 OpenRouter 的 API 价格算了一笔账：第一年本地总成本（含电费）是 2992.72 美元，而调用同等...

## 推荐理由

这是一篇个人实测帖，不是厂商通稿。作者把账单摊开算：硬件折旧、电费、OpenRouter 比价，结论是首年能省 700 多美元。我会先打个折——这个结论绑定了他的特定负载（日处理 2000 多万 token）和二手 MI100 价格，换个人未必复现。但文章的价值不在普适性，而在把“自建推理服务器到底划不划算”这笔账算得清楚、可复现，对正在纠结买卡还是调 API 的人有参考意义。信息密度和话题性都够，放在 featured 低位合理。

## 锐评

作者算了一笔本地大模型服务器的经济账：花 6406 美元攒了台 4 张 AMD MI100 显卡的机器，主要跑 Qwen3.6 27B，每天吞吐量约 2040 万输入 token 加 132 万输出 token。拿 OpenRouter 的 API 价格对比，第一年本地总成本 2992 美元，比纯用 API 的 3701 美元省了 700 多。这个数字看着还行，但得打个折——Reddit 原文被屏蔽了，我们看不到电费单价、硬件折旧年限、MI100 的二手行情这些关键假设。MI100 是 2020 年的老卡，32GB 显存，跑 27B 模型得靠多卡并行，实际推理延迟和并发能力都没披露。另外，本地维护的人工成本、机器闲置时的电费、模型更新换代的迁移成本，这些隐性开销也没法核实。如果只是个人重度使用，这个方案确实比按月付 API 费划算，但前提是你得会折腾驱动和推理框架，MI100 在 ROCm 下的兼容性坑不少。想抄作业的话，先确认自己的日均 token 量能不能跑满这个利用率，否则回本周期会拉长很多。