SimSiam：对比学习新突破，解决模型坍塌与负样本难题

SimSiam是一种新颖的无监督对比学习方法，它在现有的MoCo、SimCLR、SwAV和BYOL的基础上发展而来，旨在解决传统对比学习中遇到的模型坍塌问题，特别是如何有效地处理负样本和避免过度拟合。以下是SimSiam的核心特点和关键组件： 1. 相关背景： - 对比学习是无监督学习的重要分支，其核心是通过比较正样本对来提升网络的表示能力，同时排斥负样本对。MoCo通过维护一个动态的负样本队列来增加一致性，而SimCLR则依赖于批次中的其他样本作为负样本，但要求较大的批次大小。 - 聚类方法如SwAV将聚类任务融入到孪生网络中，通过交替学习表示和预测聚类分配。BYOL则采用连体网络结构，其中包含一个动量编码器，这对于防止模型坍塌被认为至关重要。 2. 思路与框架： - SimSiam的设计基于共享参数的encoder，通常使用如ResNet这样的骨干网络和投影层。投影层采用标准化操作（Batch Normalization，BN），但避免使用ReLU激活，以保持信息流的连续性。 - 有两个主要的MLP：投影MLP用于将特征映射到较低维度，而预测MLP则负责从一个视图预测另一个视图的输出。预测MLP采用瓶颈结构，有助于减少过拟合风险。 3. 模型创新： - SimSiam的独特之处在于它不需要负样本对，而是通过一个预测器（predictor）在两个增强的图像视图间建立相似性。通过stop gradient操作，网络学习到的是不变的特征表示，而非简单的特征匹配，这有助于避免模型过于依赖输入的随机变换。 - 损失函数选择负余弦相似度，相当于L2归一化后的均方误差，目的是最大化两个视图之间的相似度，使得总损失在所有图像上的平均值趋向于最小，即-1。 4. 网络比较： - 相比于MoCo和SimCLR，SimSiam简化了架构，没有动量编码器和负样本策略，从而减少了复杂性。它与BYOL的区别在于，BYOL的动量编码器可能对防止坍塌起到了关键作用，而SimSiam通过不同的机制实现了相似效果。 5. 模型探究： - SimSiam的研究深入探讨了为何这种方法能有效避免模型坍塌，强调stop gradient和predictor的操作在保持表示稳定性和泛化能力方面的重要性。 总结，SimSiam作为一种创新的对比学习方法，其设计简洁且有效，通过stop gradient和预测器的操作，成功地解决了模型坍塌和负样本构建的问题，为无监督学习领域提供了新的研究方向。