LoRot：提升监督学习鲁棒与泛化的自我监督辅助任务

本文探讨了自我监督在提升监督学习鲁棒性和泛化能力中的关键作用。以往的研究已经展示了自我监督方法在无监督表示学习方面的潜力，但这些方法往往局限于特定的设计，使得在监督学习目标下的效果未得到充分发掘。为了克服这一局限，研究者提出了三个理想属性，适用于辅助自我监督任务： 1. 引导丰富的功能学习：任务设计应鼓励模型学习具有通用性和深度的特征表示，确保这些特征不仅有助于无监督学习，也能为监督任务提供有力的支持。 2. 保持数据分布一致性：为了减少对训练数据分布的显著干扰，任务变换应该是轻量级的，不会导致训练样本的本质特性发生重大变化，如旋转任务可能不适合监督学习，因为它主要关注旋转不变性，而与主要任务的关联较弱。 3. 高度适用性：任务设计应注重与现有监督学习技术的兼容性，确保在实际应用中能够无缝集成，不造成负面影响。 研究者针对这些目标提出了一种名为“局部旋转”（LoRot）的简单辅助自我监督任务。LoRot通过预测图像局部区域的旋转角度，既保持了自我监督的优势，又避免了对监督学习目标的负面影响。通过详细的实验验证，LoRot不仅提高了监督学习的鲁棒性，还显著提升了其泛化能力。 文章作者们强调，他们的工作旨在通过定制化的自我监督任务，更好地服务于监督学习，从而克服了之前方法在提升性能方面的局限。LoRot代码可在https://github.com/wjun0830/Localizable-Rotation上获取，研究人员鼓励读者进一步探索这一领域，以促进监督学习领域的进步。 关键词：前文本任务、辅助自我监督、监督学习、鲁棒性、泛化能力、局部旋转。这篇文章的研究成果不仅为理论研究提供了新的视角，也为实际应用中的模型优化提供了实用工具。