有人把折叠屏手机改成了跑本地模型的节点,用 Vulkan 加速
I turned an Android phone into a Vulkan-accelerated local LLM node (GGUF + LiteLLM + Tailscale)
Reddit 用户 GsxrGuy80s 拿一台 Z Fold 6 当 GGUF 推理节点,走 Vulkan 加速,搭配 LiteLLM 和 Tailscale 组网。帖子公开了 gpu_layers=89 这个关键参数,说明把 89 层模型计算都扔给了手机 GPU。
推荐理由:Reddit 用户把 Z Fold 6 改成 GGUF 推理节点,用 Vulkan 加速并公开 gpu_layers=89 参数,展示了手机 GPU 跑本地模型的具体配置路径。