跳到正文
r/LocalLLaMA

我花 6400 美元搭了一台本地大模型服务器,一年下来比用 API 便宜了 700 多

Cost Analysis of my $6.4k Local LLM Server

作者晒了一台自组的本地大模型服务器,总花费 6406.45 美元,核心配置是 4 张 AMD MI100 显卡,主要跑 Qwen3.6 27B 模型。这台机器每天处理约 2040 万个输入 token 和 132 万个输出 token。

推荐理由:作者晒出自组本地大模型服务器的完整账单,4 张 AMD MI100 显卡加电费折旧共 6406.45 美元,按每天约 2040 万输入 token 的负载算出首年比调 API 省 700 多美元。

读原文 ↗导出 Markdown