# 一台 PC 工作站上的 13 小时训练实验：为什么做优化的前提是测量？

- 来源：Computing Life · Share · 鸭哥调研
- 发布时间：2026-08-11T00:00:00.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/50210
- 原文：https://yage.ai/share/pc-workstation-training-optimization-20260811.html

## 摘要

Zach Mueller 在一台装了 4 张 RTX PRO 6000 的 PC 工作站上，把一个 500M 参数的 MoE 模型训练时间从单卡估算的 62 小时压到了四卡 13.2 小时。他没靠猜，全程用 PyTorch Profiler 找瓶颈：单卡时数据加载和框架开销占了约 8% 的步长时间，靠预分词、固定内存和融合优化器降到 43 小时。

## 推荐理由

Zach Mueller 用 PyTorch Profiler 定位瓶颈，把 500M 参数 MoE 模型训练从单卡估算的 62 小时压到四卡 13.2 小时，展示了测量驱动优化的具体路径。

## 锐评

62 小时压到 13.2 小时，靠 profiler 找瓶颈，这个我信。单卡时数据加载加框架开销吃掉 8% 的步长时间，预分词和固定内存就能砍掉一大块，这种瓶颈在本地训练里太常见，很多人卡在 IO 上还在怀疑模型结构。

四张 RTX PRO 6000 跑 500M MoE，13.2 小时对个人和小团队挺友好，不用排队抢卡。数据是个人博客跑的，步骤写得够细，照着抄就行。
