解决尺寸塌陷与冗余：对称对比学习新方法——基于基对齐的表示

"对称对比学习方法的问题及一种新方法：将表示与基对齐，提高互信息，解决尺寸塌陷和冗余问题，具有线性复杂度和鲁棒性" 在当前的深度学习领域，尤其是在无监督和自监督学习中，对称对比学习方法已经成为了重要的技术手段。这种方法主要通过最大化不同视图（或表示）之间的相似性，同时最小化同一视图的不同样本间的相似性，以此来学习有用的表示。然而，现有的对称对比学习方法存在一些挑战，例如完全崩溃（即所有样本的表示趋同）、维度灾难（随着维度增加，表示信息丢失）以及二次计算复杂性，这些都限制了其性能和效率。 本文提出了一种名为"将表示与基对齐"的新方法，即AlignRepresentation with Base (ARB)，用于解决上述问题。在传统的对称对比学习中，直接对齐不同视图的表示可能会导致尺寸塌陷（所有表示趋于同一值）和特征冗余（表示之间的差异不足）。ARB方法引入了中间变量，这个中间变量是表示向量与一组基向量的最近邻，从而避免了直接对齐带来的问题（如图1所示）。 通过这种方法，ARB实现了以下优势： 1. **线性复杂度**：由于不需要负对，ARB的整体目标函数的计算复杂度显著降低，从二次变为线性，提高了算法的运行效率。 2. **减少特征冗余**：通过对表示进行基对齐，ARB减少了表示中的冗余信息，增加了训练样本的信息密度，使得学习的特征更加精炼。 3. **鲁棒性提升**：ARB对输出维度大小的变化更具鲁棒性，即使在较低的维度下，也能保持良好的性能。 在实验中，ARB在ImageNet-100数据集上的Top-1准确性相比于其他对称方法提高了超过28%，证明了其在减少维度塌陷和冗余问题方面的有效性。此外，ARB无需依赖于复杂的判别任务或像素级重建，而是通过中间变量和基对齐机制，更有效地学习语义特征。 深度学习的研究者们一直在探索如何利用未标注数据进行有效学习，而对称对比学习正是这一探索的关键方向之一。ARB的提出为解决现有方法的局限性提供了新的思路，有望推动自监督学习领域的进一步发展。通过对表示与基的对齐，ARB不仅优化了模型的训练效率，还提升了模型的泛化能力，对于无监督和自监督学习的未来研究具有重要的启示作用。