跳到正文
AI HOT 精选

SANA-Video 2.0:用混合线性注意力让单张显卡跑 720p 视频生成

SANA-Video 2.0:混合线性注意力与注意力残差实现高效视频生成

这篇论文给视频生成模型换了一套注意力机制,核心是把标准自注意力(计算量随序列长度平方级增长)改成 3:1 的混合方案:大部分 token 用门控线性注意力(计算量只随长度线性增长),每隔几步再插入一次标准 softmax 注意力作为“锚点”,把纯线性注意力丢失的 token 间全局交互补回来。

推荐理由:SANA-Video 2.0 把视频生成的自注意力改成 3:1 混合方案,多数 token 走线性注意力,每隔几步插一次标准注意力补回全局交互,单卡即可跑 720p。

读原文 ↗导出 Markdown