Apple 放出 MLX LM Server,让多台 Mac 通过雷电网口搭伙跑大模型
New MLX LM Server From Apple
这篇 Reddit 帖子本身被屏蔽了,正文内容看不到,只能从标题和现有摘要拼出大致信息。Apple 的 MLX LM Server 支持连续批处理,能同时处理多个子代理的请求,不会一个一个排队干等。它还支持分布式推理,可以通过 Thunderbolt RDMA 把几台 Mac 连起来一起跑模型,相当于用高速雷电网口把算力拼成一台虚拟大机器。
推荐理由:Apple 的 MLX LM Server 支持连续批处理,并可通过雷电网口把多台 Mac 连起来做分布式推理,为关注本地大模型部署的读者提供一种拼算力的思路。