鲁棒表示框架：对抗噪声数据的多类型噪声学习

本研究论文探讨了在噪声数据环境中，特别是面对标签噪声、分布外输入和输入损坏时，如何有效地进行鲁棒表示学习。作者们来自Salesforce研究部门，Junnan Li, Caiming Xiong, 和 Steven H. Hoi 主导了这项工作。他们提出了一种新颖的学习框架，旨在处理现实生活中的复杂噪声问题。 首先，他们认识到现有的许多方法主要关注于减少标签噪声，如通过筛选出具有较低损失的清洁样本并给予它们更高的权重，或者利用模型预测重新标记噪声样本。然而，这些方法往往忽视了分布外输入和输入损坏这两种重要的噪声类型。这些类型的噪声可能导致模型在未见过的数据上表现不佳，且依赖模型自身预测的重新标记可能引入确认偏差，进一步降低性能。 为了克服这些问题，研究人员引入了鲁棒表示学习。他们将图像嵌入到一个低维的子空间中，通过鲁棒对比学习来维护子空间的几何结构。这个过程包括两个关键组成部分：无监督的一致性损失，用于确保相似样本在子空间中的距离保持一致；以及有监督的混合原型损失，利用标签信息来增强学习的指导性。这种方法有助于模型在噪声环境中保持稳健，即使面对超出训练数据分布范围的输入，也能保持较好的泛化能力。 论文还提出了一种新颖的噪声清理策略，利用学习到的表示对相邻样本实施平滑性约束，这有助于进一步净化噪声影响。实验结果在多个基准测试中展示了该方法的优越性能和鲁棒性，证明了它在实际场景中的有效性。 整个研究强调了在实际应用中考虑多种噪声类型的重要性，以及通过鲁棒表示学习来提升模型对噪声数据处理能力的必要性。代码可以在 <https://github.com/salesforce/RRL/> 获取，以便其他研究者进行进一步的探索和应用。这项工作为深度学习在面对现实世界噪声数据时提供了一种有力的解决方案。