Colibrì:一个纯 C 引擎,让 744B 参数的 GLM 5.2 在 32GB 内存、无显卡的笔记本上跑起来
作者用一台 12 核、25GB 可用内存的笔记本,把 GLM 5.2 这个 7440 亿参数的大模型跑通了,没用到显卡。做法是把模型切成两块:注意力层、共享专家等约 170 亿参数的稠密部分,用 int4 量化后常驻内存,占大约 9.9GB。
推荐理由:作者把 GLM 5.2 的稠密部分做 int4 量化后常驻内存,其余路由专家留在硬盘按需加载,在无显卡的笔记本上跑通了这个 7440 亿参数模型。