跳到正文
Hacker News 首页

PrismML 发布 Bonsai 27B:第一个能在手机上跑的 270 亿参数模型

Bonsai 27B (1-bit LLM): The First 27B-Class Model to Run on a Phone

PrismML 把 Qwen3.6 27B 压缩到了 3.9 GB,塞进了 iPhone 17 Pro。他们做了两个版本:三元版(5.9 GB)保留了原版 95% 的能力,1-bit 版(3.9 GB)保留了 90%。数学和编程分数几乎没掉,工具调用也撑住了,但视觉任务退化比较明显。

推荐理由:PrismML 把 Qwen3.6 27B 压到 3.9 GB 装进 iPhone 17 Pro,三元版保留 95% 能力,1-bit 版保留 90%,数学与编程几乎不降,视觉任务退化明显。

读原文 ↗导出 Markdown