跳到正文
Hugging Face 博客

Liquid AI 给 3B 视觉模型加了个 280M 的“加速小助手”,端侧解码快 3.13 倍

Accelerating vision-language models with LFM2.5-VL-DSpark

Liquid AI 发布面向视觉语言模型 LFM2.5-VL-3B 的实验性 DSpark 草稿模型,通过投机解码在不改变输出质量的前提下加速推理。该草稿模型约 280M 参数,仅使部署模型参数量增加 8.9%,在设备端解码最高加速 3.13x、H100 上最高 2.66x,端到端最高分别为 2.62x 和 2.27x。

推荐理由:Liquid AI 为 3B 视觉模型 LFM2.5-VL 配了约 280M 参数的草稿模型,用投机解码在设备端把解码提速 3.13 倍,部署参数量只增加 8.9%。

读原文 ↗导出 Markdown