Prism动态稀疏注意力框架实现2K音视频联合生成训练提速2.5倍

Shuyuan Tu、Qi Tian、Yinming Huang等提出Prism，一种面向2K原生联合视频-音频生成模型训练的动态稀疏注意力框架。论文称，全注意力计算成本随分辨率呈二次增长，且注意力分散到冗余token上会稀释学习信号、破坏预训练先验；现有稀疏注意力方法或面向免训练加速，或忽视跨模态交互集中于发声区域的结构特点。Prism将token序列组织为时空宏区，依据视频特征通道方差与音频到视频交叉注意力特征范数估计局部信息结构，为每个区动态分配块形状，并采用混合块选择策略确定逐查询稀疏度。实验显示，Prism训练速度较全注意力提升2.5倍，生成质量亦优于后者。