正交权重提升神经网络协方差稳定性与性能

本文主要探讨了正交权重在改进神经网络协方差条件中的应用，针对在深度学习模型中插入奇异值分解（SVD）元层时出现的协方差矩阵病态问题进行深入研究。传统的神经网络中，为了保持矩阵的对称性和半正定性，常通过计算输入特征映射的协方差XXT来预处理数据。然而，这可能导致协方差条件恶化，影响模型的训练稳定性和泛化能力。 现有的研究试图通过正交处理来改善这种情况，例如对权重进行正交约束。然而，这些方法虽然能提升条件数，但可能牺牲部分性能。为解决这一矛盾，本文提出了一种新的处理策略——最近正交梯度（NOG）和最佳学习率（OLR），旨在在维持正交性的同时，尽可能减少对模型性能的影响。 NOG和OLR的引入旨在找到一种平衡，它们在去相关批量归一化（BN）和全局协方差池（GCP）等应用场景中得到了验证。实验结果表明，这些方法能够同时改善协方差条件和模型的泛化能力，表明正交权重的使用不仅有助于优化训练过程，还能进一步提升整体性能。 文章关键词包括可微奇异值分解、协方差条件和正交约束，强调了在深度学习实践中的实际意义。作者宋悦及其团队的研究表明，通过对SVD层施加正交权重约束，可以显著提高模型在计算机视觉任务中的表现，特别是在处理矩阵运算和特征变换时，能够更好地维护模型的稳定性和有效性。 总结来说，本文的核心贡献在于提出了一种创新的解决方案，通过最近正交梯度和最佳学习率策略，有效解决了神经网络中由于SVD元层导致的协方差条件问题，这对于深度学习模型的性能优化和稳定性至关重要。通过实际的视觉识别实验，证明了这种方法在提升模型表现和改善训练条件上的有效性。