Transformer 模型的出现，使得自然语言处理领域得以快速发展，并在许多任务上取得了最先进的结果。但是想从NLP应用到CV领域的有不少限制，这是由于图像数据与语言数据的语义信息的差异。Vision transformer的出现标志着， Transformer 模型开始在计算机视觉领域得到广泛应用。由于MAE的出现，Transformer 模型实现了计算机视觉领域的自监督学习。在自监督学习中，

MAE（Masked Autoencoder）并不是用于计算机视觉领域的自监督学习，而是用于自然语言处理领域的。在计算机视觉领域的自监督学习中，通常使用的方法是对图像进行数据增强，例如旋转、剪裁、缩放等，然后通过无监督学习来学习图像的特征表示。其中的一种方法就是使用自编码器（Autoencoder）进行学习，它可以将图像压缩成一个低维向量表示，然后再通过解码器将其恢复为原始图像。Transformers被引入计算机视觉领域后，可以用于自编码器的设计，从而实现自监督学习。这种方法被称为“自监督转移”（Self-Supervised Transfer）学习，可以用于对图像进行分类、分割、检测等任务。