热点事件观察中
Liquid AI 给 3B 视觉模型加了个 280M 的“加速小助手”,端侧解码快 3.13 倍
1 篇报道1 个报道来源2 天前更新
先了解这件事
事实说明
Liquid AI 放出了一个实验性的“投机解码”加速模块,专门配给自家的 3B 视觉语言模型 LFM2.5-VL-3B。这个模块只多了 2.8 亿参数,占原模型的 8.9%,但能让纯解码部分在端侧跑快 3.13 倍,在 H100 上快 2.66 倍;算上图编码等环节,端到端最快分别能到 2.62 倍和 2.27 倍,而且输出质量不变。它的原理是偷看大...
报道时间线
沿着报道,了解事件的不同侧面。
9月24日
- Hugging Face 博客精选Liquid AI 给 3B 视觉模型加了个 280M 的“加速小助手”,端侧解码快 3.13 倍
Liquid AI 放出了一个实验性的“投机解码”加速模块,专门配给自家的 3B 视觉语言模型 LFM2.5-VL-3B。这个模块只多了 2.8 亿参数,占原模型的 8.9%,但能让纯解码部分在端侧跑快 3.13 倍,在 H100 上快 2.66 倍;算上图编码等环节,端到端最快分别能到 2.62 倍和 2.27 倍,而且输出质量不变。它的原理是偷看大...
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。