PrismML 发布 Bonsai 27B：第一个能在手机上跑的 270 亿参数模型

Bonsai 27B (1-bit LLM): The First 27B-Class Model to Run on a Phone

PrismML 把 Qwen3.6 27B 压缩到了 3.9 GB，塞进了 iPhone 17 Pro。他们做了两个版本：三元版（5.9 GB）保留了原版 95% 的能力，1-bit 版（3.9 GB）保留了 90%。数学和编程分数几乎没掉，工具调用也撑住了，但视觉任务退化比较明显。两个版本都能处理图像，支持 26 万 token 的上下文和投机解码加...

推荐理由：PrismML 把 Qwen3.6 27B 压到 3.9 GB，装进 iPhone 17 Pro，三元版 5.9 GB 保留 95% 能力，1-bit 版 3.9 GB 保留 90%。数学和编程分数稳住了，工具调用也没崩，但视觉任务退化明显，这点先别太激动。正文没披露推理延迟和功耗，实际用起来烫不烫手还不清楚。整体是端侧部署的一个里程碑，但视觉短板和缺失的实测数据要打个折。