对比学习揭示视频表示的固定与非固定特性

本文主要探讨了视频表示学习中的一个重要视角——对比视频表示学习的长短视点特征分解。传统的自监督视频表示方法往往侧重于捕捉视频的时间属性，但忽视了固定和非固定属性的作用。固定属性是指在整个视频中保持稳定的特征，这对于预测视频级别的动作类别非常关键；而非固定属性则表示随时间变化的特性，有助于处理涉及更精细时间理解的任务，如动作分割。 作者提出了一种新颖的方法，通过对比学习，将视频表示空间分解为固定和非固定的功能。固定特征被设计为在短视图和长视图之间共享，提供了一个全局的视角；非固定特征则负责聚合短视图以匹配长视图中的对应片段，这有助于对视频进行更细致的时间划分。这种方法的优势在于，它能同时满足动作识别等需要全局理解的任务（静态特征的作用）和动作分割等需要精确时间信息的任务（非静态特征的作用）。 研究者在博世人工智能中心和波恩大学进行实验，通过比较固定功能在动作识别任务中的优异性能和非固定功能在动作分割任务上的出色表现，验证了这种分解策略的有效性。进一步的分析揭示，静态特征倾向于捕获视频中的稳定信息，如整体动作，而非静态特征则包含了更多的动态变化信息，如动作序列中的细节。 在监督学习的背景下，大规模标注数据通常偏重于静态特征的学习，但为应对更复杂的视频理解需求，通过结合固定和非固定属性的表示学习，可以提升模型的多样性和适应性。这种方法为未来的视频表示学习提供了新的思路，特别是在那些需要综合处理时间不变和变化信息的场景下，如视频内容分析和行为理解。