Apple 演示用 MLX 与 RDMA 在 Mac Studio 集群本地运行 816B 大模型
Apple 演示用 MLX 和 Thunderbolt RDMA 在四台 M5 Ultra Mac Studio 上运行 Muse Spark Open 816B,在 8,192 tokens 上下文下达到 36.73 tokens per second。
Apple 演示用 MLX 和 Thunderbolt RDMA 在四台 M5 Ultra Mac Studio 上运行 Muse Spark Open 816B,在 8,192 tokens 上下文下达到 36.73 tokens per second。