用 20 美元的 USB 转网口线,把两台电脑的 3 张 4060 拼起来跑 39.7GB 模型,速度 30 token/秒
FYI You dont need expensive networking for multi-node gpu. 30t/s laguna Q2_K_XL (39.7GB) on 2x4060+1x4060 using a $20 usb->ethernet.
一位 Reddit 用户用一根普通网线直连两台电脑,成功跑起了 39.7GB 的 laguna Q2_K_XL 模型。一台插两张 RTX 4060,另一台插一张,总共三张卡。网络峰值流量只有 30-70 MB/s,没用到昂贵的交换机或高速网卡。在 11k token 的提示词下,ubatch 设为 768 时生成速度达到 28.28 token/秒。
推荐理由:一位 Reddit 用户用 20 美元 USB 转网口线直连两台电脑,把三张 RTX 4060 拼起来跑 39.7GB 模型,生成速度约 30 token/秒,网络峰值流量仅 30-70 MB/s。