美团 LongCat 放出视频数字人模型 1.5 版,换用 Whisper 做语音驱动,推理步数压到 8 步
meituan-longcat/LongCat-Video-Avatar-1.5 · Hugging Face
美团 LongCat 在 Hugging Face 上发了 LongCat-Video-Avatar-1.5,模型权重用 MIT 协议开源。它能做音频驱动视频、音频加图片驱动视频,还能接着一段视频往后生成。这版把语音编码器从 Wav2Vec2 换成了 Whisper-Large,理论上对语音的理解会更准。
推荐理由:美团 LongCat 开源了视频数字人模型 1.5 版,权重用 MIT 协议,语音编码器由 Wav2Vec2 换成 Whisper-Large,推理步数压到 8 步。