# 一位律师用 12 块 V100 显卡搭本地集群跑法律文书起草，Qwen3.5-122B 模型跑到约 50 token/秒

> 原标题：Update on 12x32gb sxm v100 cluster / local AI for legal drafting

- 来源：r/LocalLLaMA
- 发布时间：2026-05-25T21:50:30.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/27058
- 原文：https://www.reddit.com/r/LocalLLaMA/comments/1tnn29i/update_on_12x32gb_sxm_v100_cluster_local_ai_for/

## 摘要

Reddit 上一位律师分享了自己用 12 块 32GB 显存的 SXM V100 显卡搭建本地 AI 集群的进展，专门用来起草法律文书。核心模型是 Qwen3.5-122B-A10B，在 4 块 V100 上推理速度大约 50 token/秒。

## 推荐理由

一位律师用 12 块 32GB 显存的 V100 搭建本地集群，在 4 块卡上以约 50 token/秒运行 Qwen3.5-122B 起草法律文书，展示了大模型本地部署在专业场景的可行配置。

## 锐评

12 块 V100 跑 122B 的 MoE 到 50 token/秒，这个数字挺实在，老卡堆显存跑本地推理这条路是通的。V100 二手价现在低得离谱，32GB 的 SXM 更是没人抢，律师自己攒一套的成本大概比一年 API 账单还低，法律文书这种量不大又碰敏感数据的场景，本地跑划算。

他加了引用和日期验证器拦幻觉这件事我更在意。法律这种容错率极低的活，光靠模型自觉不行，得在外面套一层校验，这个思路比硬件配置更值得抄。
