自建大模型:多卡为什么卡,以及为什么还是比 API 贵
鸭哥实测自建三卡大模型服务发现,缓存优先路由会让智能体分支挤到同一张卡,低利用率也使日常成本高于 API。主机用 3 张 5090 分别运行 4-bit 量化的 Qwen3.8-27B,NInfer 无法向调度器提供真实缓存与在途负载,限制了缓存复用和负载均衡的协调。
鸭哥实测自建三卡大模型服务发现,缓存优先路由会让智能体分支挤到同一张卡,低利用率也使日常成本高于 API。主机用 3 张 5090 分别运行 4-bit 量化的 Qwen3.8-27B,NInfer 无法向调度器提供真实缓存与在途负载,限制了缓存复用和负载均衡的协调。