跳到正文
Hacker News 首页

Fermion 发布 Neutrino-1 8B:一个 3.88 GB 的模型文件,能在 H100、L4 和 MacBook 上直接跑

Neutrino-1 8B

Fermion Research 放出了一个叫 Neutrino-1 8B 的模型,参数量 81.9 亿,但整个模型文件只有 3.88 GB,是常规 fp16 格式的八分之一大小。它把模型里 252 个线性层的权重用一种他们自研的“三值家族”格式压缩存储,用的时候在计算核心里直接解码,全程不产生 fp16 或 fp32 的权重数据。

推荐理由:Fermion Research 将 81.9 亿参数的 Neutrino-1 8B 压到 3.88 GB,仅为 fp16 的八分之一,做法是把 252 个线性层权重存成自研三值格式并在计算核心里直接解码。

读原文 ↗导出 Markdown