SViTT：稀疏视频文本Transformer的时间学习

​

SViTT: Temporal Learning of Sparse Video-Text Transformers

解决问题：本文旨在解决视频-文本转换器在建模跨帧时间关系方面的问题。最近的研究表明，尽管视频-文本模型具有巨大的容量和丰富的多模态训练数据，但它们往往倾向于基于帧的空间表示，而时间推理仍然基本上没有解决。

关键思路：本文提出了SViTT，一种稀疏视频-文本架构，其具有比密集注意力的朴素变压器低得多的成本，并使用两种稀疏性：限制自我关注中令-键通信之间的标记的边缘稀疏性，以及丢弃无信息的视觉标记的节点稀疏性。在使用课程训练的同时，逐渐增加模型的稀疏性，SViTT在多个视频-文本检索和问答基准测试中优于密集变压器基线，并且计算成本只有一小部分。

其他亮点：本文通过实验表明，SViTT在多个视频-文本检索和问答基准测试中都优于现有的密集变压器基线，并且计算成本只有一小部分。此外，本文还提出了一种稀疏性方法，可以有效地处理多帧建模的维数灾难问题。该项目还开源了代码。

关于作者：Yi Li、Kyle Min、Subarna Tripathi和Nuno Vasconcelos分别来自美国加州大学圣地亚哥分校计算机科学与工程系。他们的代表作包括：Yi Li的“Heterogeneous Graph Attention Network”、Kyle Min的“Temporal Modular Networks for Retrieving Complex Compositional Activities in Videos”、Subarna Tripathi的“Temporal Grounding Graphs for Language Understanding with Accrued Entity Information”和Nuno Vasconcelos的“QoE-Driven Video Summarization with Recurrent Neural Networks”。

相关研究：近期其他相关的研究包括：“Graph-Based Interactive Reasoning for Multimodal Video Question Answering”（作者：Zhihao Fan等，机构：南京大学）、“Multi-modal Transformer for Video Captioning”（作者：Xin Wang等，机构：中山大学）、“Temporal Cycle-Consistency Learning”（作者：Xiaodong Gu等，机构：微软研究院）。

论文摘要：这篇论文探讨了视频文本转换器是否能够学习跨帧的时间关系。尽管视频文本模型具有巨大的容量和丰富的多模态训练数据，但最近的研究表明，视频文本模型往往倾向于基于帧的空间表示，而时间推理仍然存在问题。在这项工作中，研究人员确定了视频文本转换器中时间学习的几个关键挑战：有限网络大小的时空权衡；多帧建模的维度灾难；通过延长剪辑长度扩展语义信息的收益递减。在这些发现的指导下，他们提出了SViTT，一种稀疏视频文本架构，可以以比密集注意力的朴素转换器低得多的成本进行多帧推理。类似于基于图形的网络，SViTT采用两种形式的稀疏性：边稀疏性限制了自我关注中标记之间的查询-键通信，节点稀疏性丢弃了无信息的视觉标记。通过课程训练，该模型随着剪辑长度的增加而增加稀疏度，SViTT在多个视频文本检索和问答基准测试中优于密集变压器基线，并且计算成本只有一小部分。项目页面：http://svcl.ucsd.edu/projects/svitt。

​Read More