"理解非对比孪生网络坍塌与自监督学习在CV的发展"

组会slides分享主要讲述了非对比孪生网络坍塌（Collapse）的问题，以SimSiam为例进行了解析。同时，系统描述了自监督学习的来源与发展，重点介绍了对比学习在计算机视觉领域的应用，包括SimCLR、MoCo、BYOL和SimSiam等。 首先，组会从背景介绍开始。自监督学习模型在计算机视觉领域取得了显著的成果，但非对比孪生网络的训练中存在着坍塌现象。坍塌指的是网络在进行自监督学习时，无法有效提取出有区分性的特征表示，导致无法区分不同类别的样本。本次分享主要围绕SimSiam模型对这一问题进行了深入的研究和分析。 接着，组会详细介绍了非对比孪生网络坍塌的原因。SimSiam模型采用了自监督学习中的对偶学习策略，在训练过程中通过对输入样本进行随机变换来生成正样本和负样本，使得网络通过最小化正样本和负样本之间的相似性来学习特征表示。然而，在一定的训练阶段后，SimSiam模型会陷入坍塌状态，无法区分正样本和负样本。通过对SimSiam模型的实验和分析，发现坍塌是由于网络的隐藏层过于相似，导致特征表示损失了区分性。 在提出坍塌问题后，组会对如何预防坍塌进行了探讨。研究人员提出了连续训练的方法来解决非对比孪生网络坍塌的问题。连续训练通过在网络训练过程中引入多个新目标实现，使得网络的隐藏表示具有更强的区分性。具体而言，通过引入不同的随机变换操作来扩充数据集，或者通过在训练过程中逐渐增加难度来提高模型的鲁棒性等方式，可以有效地防止坍塌现象的发生。 最后，组会总结了对非对比孪生网络坍塌的理解以及连续训练的作用。首先，坍塌现象是非对比孪生网络在自监督学习中常见的问题，影响了模型的特征表示能力。其次，通过实验和分析，可以发现坍塌是由于网络的隐藏表示过于相似而导致的。最后，通过连续训练的方法，可以有效预防坍塌问题，提高模型的特征表示能力和鲁棒性。 总的来说，这个组会slides分享了非对比孪生网络坍塌问题的重要性和影响，并以SimSiam模型为例进行了具体解析。同时，系统地介绍了自监督学习在计算机视觉领域的应用，对比了几种不同的方法，并深入分析了非对比孪生网络坍塌的原因和连续训练的作用。通过这个分享，可以更好地理解和应用自监督学习在计算机视觉任务中的价值和挑战。