线性与非线性对抗表示学习的全局最优性：理论与应用

对抗性表示学习（ARL）是一种新兴的机器学习方法，特别关注于训练具有鲁棒性的图像表示模型。该领域的核心目标在于设计一个系统，其中包含三个关键组件：编码器E、预测器T和对手代理A。编码器E负责从输入数据中提取信息，同时抑制敏感属性；预测器T负责预测目标属性，如图像标签；而对手A则扮演挑战者的角色，试图揭示编码器隐藏的敏感信息。 在传统的ARL方法中，通常采用深度神经网络（DNN）作为非线性函数表示，通过迭代的极大极小优化策略来求解。然而，这种方法虽然实用，但缺乏全局优化的理论支持，尤其是在处理非凸和不可微的优化问题时。本文的创新之处在于对ARL的“线性”形式进行了深入研究，即所有参与者都表现为线性函数的简化场景。 作者首先分析了线性ARL的优化问题，揭示了其实质是非凸且不可微的情况。令人惊讶的是，他们发现了一个全局最优解的精确闭合形式表达式，这为理解ARL的全局性质提供了关键洞察。此外，他们在效用（如预测性能）和不变性（抑制敏感信息）之间的平衡上给出了理论上的保证。 进一步，作者将这种线性解决方案和分析扩展到了非线性情况，采用了核化技术，允许将线性结果应用到更广泛的函数空间。这不仅增强了ARL的适用范围，也使得在实际应用中，即使面对偏见的预训练数据表示，也能提供可证明的不变性。 通过在UCI、Extended Yale B和CIFAR-100等数据集上的实验，研究证实了以下几个关键点：（1）线性形式的全局最优解决方案确实能够为预训练数据提供可靠的不变性保障；（2）相比于基于深度神经网络的迭代极大极小优化，使用核化方法的ARL能够在效用和不变性之间取得更好的平衡，而且这一平衡是基于理论基础的。 本文对ARL的全局最优性进行了理论分析，为改进现有方法和提高鲁棒性提供了坚实的数学支持，这对于确保AI系统的公平性和隐私保护具有重要意义。通过引入核化技术，研究者朝着构建更稳定、可靠和具有理论支持的对抗性表示学习框架迈出了重要的一步。