跳到正文
r/LocalLLaMA

一位律师用 12 块 V100 显卡搭本地集群跑法律文书起草,Qwen3.5-122B 模型跑到约 50 token/秒

Update on 12x32gb sxm v100 cluster / local AI for legal drafting

Reddit 上一位律师分享了自己用 12 块 32GB 显存的 SXM V100 显卡搭建本地 AI 集群的进展,专门用来起草法律文书。核心模型是 Qwen3.5-122B-A10B,在 4 块 V100 上推理速度大约 50 token/秒。

推荐理由:一位律师用 12 块 32GB 显存的 V100 搭建本地集群,在 4 块卡上以约 50 token/秒运行 Qwen3.5-122B 起草法律文书,展示了大模型本地部署在专业场景的可行配置。

读原文 ↗导出 Markdown