# 骁龙 8 Elite 跑混合专家模型实测：CPU 推理反而比 NPU 快

> 原标题：LLM's on Android (Snapdragon 8 Elite) MOE Experience

- 来源：r/LocalLLaMA
- 发布时间：2026-05-17T22:22:53.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/21957
- 原文：https://www.reddit.com/r/LocalLLaMA/comments/1tg3ssd/llms_on_android_snapdragon_8_elite_moe_experience/

## 摘要

一位 Reddit 用户用 24GB 内存的荣耀 Magic 7 Pro（骁龙 8 Elite）跑了几个混合专家（MoE）模型。在 Q4 量化下，LFM2-24b-a2b 跑到约 24 token/秒，Gemma 约 11 token/秒。

## 推荐理由

一位 Reddit 用户在 24GB 内存的荣耀 Magic 7 Pro 上实测骁龙 8 Elite 运行 MoE 模型，Q4 量化下 LFM2-24b-a2b 约 24 token/秒、Gemma 约 11 token/秒，CPU 推理快于 NPU。

## 锐评

CPU 比 NPU 快这事，在手机上其实不新鲜。NPU 的驱动和算子库对 MoE 支持普遍拉胯，专家路由那套动态 shape 一上去就掉链子，CPU 反而能靠大核硬扛。24GB 内存跑 24b 的 MoE，Q4 下 24 token/s，这速度已经能用了，Gemma 11 token/s 就有点勉强。

只有一台 Magic 7 Pro 的数据，别当普遍结论。想上手机本地部署的，先看自己机型的 NPU 支不支持 MoE 算子，不支持就老老实实走 CPU。
