视觉表征转移：全连接层的重要性

"本文探讨了在视觉任务中全连接层（fully connected layers）的重要性，尤其是在预训练卷积神经网络（CNN）模型的迁移学习任务中。作者通过可视化分析和大量实验，证明了当目标领域的图像属性或任务目标与源领域相差较大时，保留源领域预训练模型中的全连接层对于实现高精度至关重要。" 在计算机视觉领域，预训练的卷积神经网络模型已经广泛应用于许多任务，特别是迁移学习任务。迁移学习允许我们利用在大规模数据集（如ImageNet）上预训练的模型，将其知识迁移到具有较少训练样本或不同图像特性的小型目标领域。然而，如何选择最优的CNN模型进行迁移是一个关键问题。 文章“2017-全连接层-In Defense of Fully Connected Layers in Visual”指出，全连接层在视觉表示转移中的作用不容忽视。全连接层位于CNN模型的顶层，负责将前面卷积层提取的特征映射到最终的分类或回归结果。在传统的观点中，由于全连接层可能导致过拟合，并且不适应新的数据分布，因此在迁移学习中常被替换或忽略。 然而，作者通过实验发现，当目标领域的数据分布或特征空间与源领域显著不同，保留预训练模型的全连接层对于保持和适应这些差异至关重要。全连接层可以捕获更高层次的抽象特征，这些特征可能对跨域任务有更广泛的泛化能力。此外，全连接层还可以帮助模型适应目标领域的特定任务需求，即使这些需求与源领域的任务有很大区别。 通过可视化分析，研究者揭示了全连接层如何调整其权重以适应新任务，这表明它们对于理解新领域数据的复杂性是必要的。实验结果进一步证实，在某些情况下，移除或替换全连接层会导致性能显著下降，特别是在目标领域数据稀少或与源领域差异较大的情况下。 该研究挑战了关于在迁移学习中移除全连接层的传统观念，强调了它们在跨域视觉表示转移中的核心作用。这为今后的迁移学习研究提供了新的视角，即在设计迁移学习策略时应充分考虑全连接层的价值，尤其是在处理数据分布差异大的场景下。未来的工作可以进一步探索如何优化全连接层以增强模型的泛化能力和适应性，从而提高迁移学习的效果。