跳到正文
Hugging Face 博客

Liquid AI 给 3B 视觉模型加了个 280M 的“加速小助手”,端侧解码快 3.13 倍

Accelerating vision-language models with LFM2.5-VL-DSpark

Liquid AI 放出了一个实验性的“投机解码”加速模块,专门配给自家的 3B 视觉语言模型 LFM2.5-VL-3B。这个模块只多了 2.8 亿参数,占原模型的 8.9%,但能让纯解码部分在端侧跑快 3.13 倍,在 H100 上快 2.66 倍;算上图编码等环节,端到端最快分别能到 2.62 倍和 2.27 倍,而且输出质量不变。它的原理是偷看大...

推荐理由:Liquid AI 给自家 3B 视觉模型配了个投机解码加速模块,端侧 3.13 倍、H100 上 2.66 倍,数字漂亮且可复现。但模型本身用户不多,实际影响圈层有限,放在 featured 刚好。

读原文 ↗导出 Markdown