M4 Pro Mac Mini 本地跑大模型：Qwen3.6 混合专家模型只占 20GB 内存

My local model setup on an M4 Pro Mac Mini

Kevin Lewis 分享了他用 M4 Pro Mac Mini（48GB 内存）搭建本地 LLM 服务器的方案。主力模型是 Qwen3.6-35B-A3B-OptiQ-4bit，这是一个混合专家模型（MoE），虽然总参数量 350 亿，但每个 token 只激活 30 亿参数，4bit 量化后只占约 20GB 内存。轻量模型 Gemma-4-E4B...