跳到正文
热点事件观察中

Liquid AI 给 3B 视觉模型加了个 280M 的“加速小助手”,端侧解码快 3.13 倍

1 篇报道1 个报道来源2 天前更新

先了解这件事

事实说明

Liquid AI 放出了一个实验性的“投机解码”加速模块,专门配给自家的 3B 视觉语言模型 LFM2.5-VL-3B。这个模块只多了 2.8 亿参数,占原模型的 8.9%,但能让纯解码部分在端侧跑快 3.13 倍,在 H100 上快 2.66 倍;算上图编码等环节,端到端最快分别能到 2.62 倍和 2.27 倍,而且输出质量不变。它的原理是偷看大...

报道时间线

沿着报道,了解事件的不同侧面。

9月24日
  1. Hugging Face 博客精选
    Liquid AI 给 3B 视觉模型加了个 280M 的“加速小助手”,端侧解码快 3.13 倍

    Liquid AI 放出了一个实验性的“投机解码”加速模块,专门配给自家的 3B 视觉语言模型 LFM2.5-VL-3B。这个模块只多了 2.8 亿参数,占原模型的 8.9%,但能让纯解码部分在端侧跑快 3.13 倍,在 H100 上快 2.66 倍;算上图编码等环节,端到端最快分别能到 2.62 倍和 2.27 倍,而且输出质量不变。它的原理是偷看大...

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。