vLLM 发布 vllm-metal v0.28.0:让苹果芯片能同时处理多个 AI 请求
vLLM 发布 vllm-metal v0.28.0:在 Apple Silicon 上支持并发推理服务
vLLM 发布 vllm-metal v0.28.0,把 vLLM 的 V1 调度器、分页 KV cache 和 OpenAI 兼容服务端带到 Apple Silicon,由 MLX 与 Metal 负责执行。
推荐理由:vLLM 把 V1 调度器、分页 KV cache 和 OpenAI 兼容服务端带到 Apple Silicon,由 MLX 与 Metal 执行,面向多请求并发时的首字延迟与显存增长问题。