鲁棒视觉Transformer：RVT与RVT*模型解析

"这篇文档是关于《Towards Robust Vision Transformer》论文的学习笔记，主要讨论了ViT模型的局限性以及提出的RVT模型和RVT*模型的设计，包括Position-Aware Attention Scaling (PAAS)和patch-wise augmentation等改进方法。" 在计算机视觉领域，Transformer架构已经逐渐成为图像处理的新宠，尤其是Vision Transformer (ViT)模型，它通过自注意力机制取得了优于传统卷积神经网络(CNN)的性能。然而，ViT模型在鲁棒性和泛化能力方面存在不足。论文作者对此进行了深入研究，并提出了Robust Vision Transformer (RVT)模型，旨在增强模型的稳健性和泛化性。 RVT模型的核心改进在于引入了卷积组件来提取patch的低级特征，以弥补ViT无法有效捕捉图像低级信息的缺陷。ViT将图像分割成固定大小的patches，但大patch可能丢失边缘和角落等细节信息，而且大内核可能导致过度参数化，需要大量训练数据和迭代次数。为解决这些问题，RVT在Transformer之前加入卷积层，可以捕获局部信息，减少模型对大规模数据的依赖。 此外，RVT还提出了Position-Aware Attention Scaling (PAAS)技术，这是一种用于改进自注意力机制的方法，通过过滤掉冗余和噪声，增强模型对位置信息的敏感性，从而提高鲁棒性。另一种改进是patch-wise augmentation，通过对每个patch应用数据增强策略，增加了训练数据的多样性，有助于模型更好地泛化。 RVT*是RVT的增强版本，结合了PAAS和patch-wise augmentation两种技术，使得模型在保持高精度的同时，进一步提升了其鲁棒性和泛化性能。这些技术不仅适用于RVT模型，而且可以作为即插即用模块应用于其他基于Transformer的视觉模型中，为未来的研究提供了新思路。 《Towards Robust Vision Transformer》论文通过实验和创新，揭示了ViT模型的弱点，并提出了有效的解决方案，推动了Transformer在计算机视觉领域的应用，为构建更强大、更具适应性的视觉模型奠定了基础。