小米开源 ControlFoley:给视频配音效,可以按你写的提示词或给的参考音频来
小米大模型应用团队放出了一个叫 ControlFoley 的视频音效生成模型,权重和代码都开源了。它主要解决一个问题:以前模型只能看画面自动猜配什么声音,创作者没法干预。ControlFoley 支持三种用法——用文字描述想要的音效、用文字强行覆盖画面里原有的声音、或者上传一段参考音频让它模仿音色和风格,同时还能保证声音和画面动作对得上。
推荐理由:小米开源 ControlFoley,让视频音效从只能由模型自动猜测变为可用文字或参考音频指定,同时保持声音与画面动作对齐。