27B 模型塞进 iPhone 了,现在该问它到底能干嘛
Bonsai 27B 把 Qwen3.6-27B 压到了约 1.125 bit/权重,在 iPhone 17 Pro Max 上运行时占用约 3.9 GB 内存,15 项思考模式测试平均分 76.11,保留了原模型约 89.5% 的能力,但看图(59.57 分)和工具调用(66.03 分)掉得比较厉害。另一条路是 MiniCPM-V 4.6,总参数量 ...
推荐理由:Bonsai 27B 把 27B 模型跑在 iPhone 上,还给了真实跑分,这标志着讨论从技术可行性进入了产品化阶段。文章没停在跑分上,而是拆解了四个工程瓶颈:内存、发热、视觉预填充和可靠性。不足是 MiniCPM-V 4.6 那边的数据没给全,但整体判断很清醒,值得推荐给在端侧做模型选型的人。