跨视频周期一致性: 图像表示学习的新方法，通过跨不同视频收集正样本对，提高了自监督表示学习的性能

PDF格式 | 964KB | 更新于2025-01-16 | 139 浏览量 | 举报

10149

跨视频周期一致性

麦吉尔大学，米

拉

王小龙加州大

学圣地亚哥分

校

摘要

最近的工作已经大大提高了自监督表示学习的性

能。这些方法的核心是图像内不变性学习。一个图像

实例的两个不同变换被认为是一个正样本对，其中各

种任务被设计为通过比较该对来学习不变表示。类似

地，对于视频数据，训练来自相同视频的帧的表示

比来自其他视频的帧更接近，即视频内不变性。然

而，跨视频关系几乎没有被探索的视觉表征学习。不

像视频内不变性，跨视频关系的地面实况标签通常在

没有人工劳动的情况下不可用在本文中，我们提出了

一种新的对比学习方法，探索跨视频的关系，通过使

用一般的图像表示学习的周期一致性。这允许跨不同

的视频实例收集正样本对，我们假设这将导致更高级

别的语义。我们通过将我们的图像表示转移到多个下

游任务（包括视觉对象跟踪、图像分类和动作识别）

来验证我们的方法。我们表现出显着的改进，国家的

最先进的对比学习方法。项目页面可在

https://happywu.github.io/

cycle_contrast_video

上找到。

介绍

最近对视觉表征的对比学习的兴趣激增[66，29，

3，28，57，9，26，41]。我们已经见证了对比学习在

各种视觉识别任务中使用大规模人类注释进行监督预

训练[26，9]。这种自监督任务的关键是构造同一实例

的不同视图和变换，并学习深度表示对视图变化保持

不变。为了在对比学习中构造不同的视图以形成正图

像对，最常见的方法是在同一实例上使用不同的数据

增强（

例如

：

周期

一致

软最近邻

正向查找

最近邻

后向寻找最近邻

图1：图像表示学习的跨视频周期一致性。从视频中的一个

帧开始，我们从其他视频中找到它的软最近邻作为向前的步

骤，然后当软最近邻在相同视频中找到它的最近帧作为向后

的步骤中的开始帧时，实现循环一致性。

随机裁剪、图像旋转、彩色化）。

然而，简单地在单个实例上执行人工增强已经在多

个应用中显示出其局限性[58 ， 67] 。例如， Tianet

al.[58]已经对不同的增强如何影响不同的下游视觉识

别任务进行了详细的分析除了单个图像，研究人员还

研究了视频作为获得正对训练图像的来源[49，21，

61]。也就是说，同一视频中的两个附近帧可以被视为

同一对象实例的时间上的自然增强通过使用时间增强

进行训练，表示可以学习视点和变形不变性。然而，

这些方法仍然局限于在单个实例中找到正对并学习它

们的相似性。

在本文中，我们建议使用不同视频而不是同一视频

中的正图像对进行对比我们假设这可以潜在地捕获更

高级别的语义和分类信息，形成超越低级别的内部实

例不变性模型，由以前的方法。具体地，给定来自视

频的两个图像帧

和

，而不是直接将它们用作用于训

练的正对[49，21]，我们将首先

10150

通过合成来自与I

相似的其他视频的帧来合成

帧

，然后将合成的帧与

进行

比较以进行对比学习。

假设我们有一个神经网络特征提取器要学习，我

们提取图像

帧

的特征表示

为qi

，

并且提取来自其他视

频的帧的表示为U

，

…

嗯

。给定这些表

示，我们计算q

和U

之间的相似性

，并

将其归一化为

概率分布。我们使用该概率分布来重新加权和组合

特征

作为帧

的新特征表示（与

更相似的帧将具有

更大的权重）。我们称

这个新特征为

的软最近

邻。然后，我们

用这个新的表示和

的特征（来自

与

相同的视频的不同帧）形成训练数据的正对。

如图

所示，该过程经历从视频中的一个帧

开

始、

通过匹配来自其他视频的帧来向前搜索、

以及

在第一视频中向后检索帧

的循环。我们

称这个

过程为

周期一致性对比学习

。直观地，强制执行这样

的周期一致性可以显式地

将具有相似结构的视频帧推

得更近，从而

导致语义的自然聚类。

我们在未标记的视频数据集随机相关视频视图

（R2V2）[21]上执行所提出的自监督表示学习，并将

学习的表示转移到各种下游任务，包括视觉对象跟

踪，图像分类和动作识别。我们强调我们的目标是使

用时间信号来学习用于视频级识别任务之外的多个

应用的通用图像级表示。我们在多个国家的最先进的

approaches显着改善。我们还进行了广泛的消融研究的

不同组成部分和我们的方法的设计选择。

我们的贡献包括：（i）一个新的跨视频周期一致的

对比学习目标，探索跨视频关系，超越以前的图像内

和视频内不变学习;（ii）所提出的损失强制来自相同

类别（类似视觉结构）的图像表示更接近，而不明确

地生成伪标签;（iii）学习的图像表示在包括对象跟

踪、图像分类和动作识别的多个下游任务中实现了显

著的改进。

相关工作

对比学习。自监督对比学习方法[23，16，66，29，

45，3，28，57，79，9，26，41，10，8]试图通过形

成正对和负对来学习不同变换下的图像表示，并使正

对的表示具有高相似性，负对具有低相似性。生成正

对的典型方式是执行人工

在单个图像实例上的cial数据增强。例如，Chenet al.[9]

介绍了一种具有不同类型增强的对比学习基线，包括

随机裁剪，调整大小，颜色失真，高斯模糊

等

。He等

人[26]提出了MoCo，其引入动量网络来编码大量负样

本的队列在这项工作中，我们建立我们的模型的基础

上的MoCo框架。然而，我们提出了一个新的目标，而

不是通过增强相同的图像来学习正对，它可以在视频

中找到正对的样本，用于图像表示的对比学习。

从视频中学习自监督图像表示。超越从单个图像学

习[15，13，48，14，73，19，56]，视频自然地为对

象提供时间信息和多视点，其已被广泛用作表征学习

中的自我监督信号[22，1，33，61，47，46，42，

62，40 ，7，64，35 ， 46，46 ， 47，47，47，47，

47，47，47，47，47，47，47，47，47，47，47，

47，47，47，47，4 52]。

例如，Wang和Gupta [61]使用跟踪来提供监督信号，

该监督信号使跟踪的补丁的特征表示相似。最近的作

品[21，49，32，69]进一步扩展了对比学习框架下视

频帧之间的相似性学习已经示出了具有视点不变性的

图像表示我们的工作是由这些以前的作品的动机，超

越视点不变性，学习使用积极的对跨视频可能会导致

图像表示与更高层次的语义。虽然对比学习也已应用

于使用 3D ConvNets 进行动作识别的视频表示学习

[35，24，37，5，51，59，25，34，43]，但我们强调

我们的工作重点是学习除动作识别之外的多个任务的

通用图像表示，包括视觉跟踪和图像分类。

周期一致性学习我们的工作受到不同计算机视觉应

用中的周期一致性学习的影响，包括3D场景理解[31，

74，20，21]。

72]、图像对准和平移[75，77，76，78]，以及

视频中的时空对齐[4， 63，39，17，60， 32， 50，

38]。例如，Wanget al. [63]提出在时间上执行前向和后

向跟踪以实现用于学习时间对应的周期一致性。

Dwibedi等人[17]制定了一个时间周期一致性损失，其

将帧从一个视频对准到另一个视频。一对视频，并

在视频帧对齐任务中实现了良好的性能。在这两部作

品的基础上，Pu- rushwalkam

等人

。[50]提出在视频中

跟踪对象块并同时跨视频对齐它们。虽然这些结果令

人鼓舞，但从视频对学习的两种方法[17，50]都需要

人类注释者在小规模视频的训练中提供地面实况对

（视频级）。在本文中，我们建议

10151

动量

编码器

塞

吉

软

（



，





，





，

 

穆

姆

我



{

}

∥ ∥∥

∥

超越这些限制，并在没有任何人工注释的情况下应用

跨视频周期一致性学习这些不仅允许使用大规模视频

进行学习，而且还将我们的表示推广到多个下游视觉

任务。

循环一致性对比学习

在本节中，我们首先介绍了具有不同形式的不变学

习目标的对比学习。然后，我们提出了我们的方法与

跨视频周期一致性学习。



...

对比损失









跨视频周期一致性: 图像表示学习的新方法，通过跨不同视频收集正样本对，提高了自监督表示学习的性能

基于多层次特征优化的自监督视频表示学习_Enhancing Self-supervised Video Representati

纠正模式不匹配：无监督样本重权法提升图像翻译性能

K-L变换：人脸图像识别的关键步骤与非周期性处理

小样本学习的新途径：迁移学习在图像分类中的创新应用

视频监控实时图像分类技术：迁移学习应用的最新突破

【图像分割性能比较指南】：2023年最新评估方法与实践技巧

火灾图像识别的增强学习方法：适应性与自主学习能力的飞速提升

【端到端学习】：超图与CNN结合的高光谱图像分类新方法

迁移学习突破高光谱图像分类：跨域少样本数据应用全攻略

迁移学习：监督学习模型如何轻松迁移到新领域

最新资源