视频播放速率感知的自监督学习：提升时空表示能力

"本文主要探讨了视频播放速率感知在自监督时空表示学习中的应用，提出了一种名为视频播放速率感知（PRP）的新方法。该方法利用运动细节扩展抽样策略，通过自我监督学习视频回放速率信号，以增强时空表示的学习能力。PRP由特征编码器、分类模块和重构解码器组成，通过迭代判别生成方式协同工作，以保持时空语义。此外，PRP分别通过区分性感知模型和生成感知模型关注低时间分辨率和长期表示以及高时间分辨率和短期运动细节的理解。实验结果表明，PRP在动作识别和视频检索等任务上优于现有的自监督模型。" 在计算机视觉领域，深度学习，尤其是卷积神经网络（CNN），已经取得了显著的成就，这得益于它们能够学习到丰富的低级细节和高级语义表示。然而，获取大量标注的数据集既耗时又昂贵，因此自监督学习成为了一种有效的替代方案，尤其在视频数据处理中。 文章指出，在有限的可见帧条件下，不同播放速率的视频片段会呈现出不同的语义理解。例如，一个视频在正常播放速度下可能被误认为是“比赛”，但在快进播放时则可以清楚地看到是“跳远”，揭示出短期运动细节。因此，感知不同播放速率的视频对于学习能够捕捉长期和短期时空信息的表示至关重要。 提出的PRP方法利用这种播放速率变化，通过自监督学习来提取这些信息。它首先采用扩展抽样策略改变视频的播放速率，然后利用特征编码器和解码器来捕获和重建这些速率变化下的时空特征。分类模块用于区分不同速率的视频，而解码器通过运动注意力机制关注细节。这样，PRP能够在没有精确标注的情况下，提升模型对时间序列的理解和表示能力。 在动作识别和视频检索等应用场景中，PRP模型展示了其优越性，与现有自监督方法相比，其性能有显著提升。作者提供了开源代码，方便研究者进一步研究和应用PRP方法。 通过PRP，研究人员旨在解决自监督时空表示学习中时间分辨率和长期短期特征学习不足的问题，从而推动无监督或弱监督视频理解技术的进步。这一创新为未来在大规模视频数据集上训练模型提供了新的思路，减少了对昂贵标注的依赖，同时提高了模型的泛化能力和效率。