非对称InfoNCE提升对抗性CL：自监督学习的鲁棒性策略

本文主要探讨了"基于非对称InfoNCE的对抗性对比学习"这一前沿主题，它聚焦于解决深度学习模型在对抗性样本面前鲁棒性不足的问题。对抗性样本是指通过微小扰动，能够欺骗预训练模型的输入样本，使得模型的预测发生错误。传统对比学习（CL）方法将对抗样本视为积极视角，试图增强模型的泛化能力，但这种平等对待可能使对抗样本混淆正常样本，不利于对抗鲁棒性。 作者于奇英、楼杰明、詹先元等人来自清华大学人工智能产业研究院和哈尔滨工业大学计算机科学与技术学院，他们提出了一种创新策略——非对称InfoNCE（A-InfoNCE）。A-InfoNCE的关键在于区别对待对抗样本，赋予它们较低的积极权重，或者更严格的负面标签。这样做的目的是降低对抗样本对学习过程的误导作用，减轻对比学习和对抗性学习目标之间的冲突。通过这种方式，模型能更好地分辨真实样本和对抗样本，从而提高整体的鲁棒性。 实验结果表明，与现有对抗性对比学习方法相比，A-InfoNCE在不同的微调策略下表现出了显著的优势。这项工作的重要性在于，它不仅提供了一种提升模型对抗攻击能力的新途径，而且所提出的A-InfoNCE框架还具有通用性，适用于其他对比学习方法的改进。此外，论文还提供了GitHub代码供研究者们参考和进一步发展。 关键词：对抗性对比学习、鲁棒性、自监督学习，这些关键词揭示了文章的核心关注点，即如何通过自监督学习手段来提高模型在对抗环境中的稳健表现，这在当前AI安全领域具有重要的实际应用价值。