NVIDIA 开源 Audio-Visual Flamingo:能看懂长视频里画面和声音的大模型
NVIDIA 发布 Audio-Visual Flamingo:面向长视频的开放音频-视觉大语言模型
NVIDIA 把 Audio-Visual Flamingo 完全开源了。这个模型能同时理解视频里的画面、声音和文字,而且专门针对长视频——不是那种几秒的片段,是真实世界里几分钟甚至更长的复杂视频。它用了一个约 700 万条带时间戳的标注数据做训练,分三个阶段逐步教会模型:先看懂短片段,再学会跨多个事件做长线推理。
推荐理由:NVIDIA 将 Audio-Visual Flamingo 完全开源,模型能同时理解长视频中的画面、声音与文字,其约 700 万条带时间戳标注数据和分三阶段的训练方法,为长视频多模态理解提供了一条可复用的路径。