提升无监督域自适应的对抗鲁棒性

"无监督域自适应中的鲁棒性对抗训练" 在无监督域自适应（UDA）中，深度学习模型被用于从有标签的源域数据向无标签的目标域数据的知识迁移，以提升模型在目标域上的性能。尽管深度模型在特征学习上取得了显著的进步，但它们对于小的、对抗性的输入扰动往往非常脆弱。这种鲁棒性不足在实际应用中是个严重问题，因为真实世界的数据往往包含各种噪声和不确定性。 对抗性训练是提高模型对抗鲁棒性的一种常见方法，但在无监督域适应场景下，由于目标域数据缺乏标签，传统的对抗训练策略并不适用。本文提出了一种新方法，它利用预训练的、在ImageNet上经过鲁棒性训练的模型来引导UDA模型学习更稳健的特征。这种方法的核心在于特征对齐，即将UDA模型的特征与预训练模型的鲁棒特征对齐，同时结合源域和目标域的数据，无需额外的对抗性干扰或标签要求。 具体来说，该方法首先采用一个在ImageNet上经过对抗性训练的模型，提取出具有较强鲁棒性的特征。然后，这些鲁棒特征被用来指导UDA模型的训练过程，使其能够学习到同样稳健的表示。通过这种方式，模型能够在学习域不变性的同时增强其对目标域中潜在对抗性样本的抵抗力。 实验结果显示，该方法能够显著提升模型的对抗鲁棒性，且不会牺牲在标准无标签目标数据上的准确性。这在各种UDA基准测试中都得到了验证，证明了该方法的有效性和实用性。此外，由于这种方法在训练过程中无需额外的对抗性干预或标签，因此它是一种高效且易于实现的解决方案，对于现实世界的无监督域适应问题具有重要价值。 总结来说，这篇论文为无监督域自适应提供了新的视角，强调了在目标域数据上建立对抗鲁棒性的必要性，并提出了一种利用预训练模型的鲁棒性来改善UDA模型的方法。这一贡献有望推动领域适应研究的发展，特别是在那些对模型稳健性有高要求的应用场景中。