Skip to content
AI HOT · Tips & opinions

Apple 演示用 MLX 与 RDMA 在 Mac Studio 集群本地运行 816B 大模型

Apple 演示用 MLX 和 Thunderbolt RDMA 在四台 M5 Ultra Mac Studio 上运行 Muse Spark Open 816B,在 8,192 tokens 上下文下达到 36.73 tokens per second。

Read the original ↗Export Markdown