跳到正文
Hacker News 首页

General Instinct 开源 InstinctRazor:把 245GB 的大模型压到 48GB,能在本地设备上跑

Launch HN: General Instinct (YC P26) – Frontier models on edge devices

General Instinct 开源了 InstinctRazor,一个专门给边缘设备用的模型压缩方案。他们拿 Qwen3.5-122B-A10B 开刀,这个模型原本是 BF16 格式的混合专家模型(MoE),体积大约 245GB。

推荐理由:General Instinct 开源了面向边缘设备的压缩方案 InstinctRazor,把 245GB 的 Qwen3.5-122B-A10B 混合专家模型压到 48GB,关注本地部署大模型的团队可参考其压缩路径。

读原文 ↗导出 Markdown