vanilla Vision Transformers

Vanilla Vision Transformers，缩写为ViT，是一种适用于Masked Image Modeling（MIM）的高效视觉模型。在ViT中，每个图像块被转换成一个token，并通过多个Transformer块进行传播以进行视觉特征提取。ViT模型包含L个块，其中第l个块将前l-1个块的token作为输入，并输出一个表示该块的特征向量。通过这种方式，ViT模型能够对图像进行特征提取和建模，用于各种计算机视觉任务。

相关问题

vanilla vit

Vanilla ViT（Vision Transformer）是一种基于Transformer的视觉模型，用于图像分类任务。它是由Google在2021年提出的，并且在图像领域引起了广泛的关注。

ViT最初是为自然语言处理（NLP）任务设计的，通过将图像划分为均匀的图像块，并使用Transformer模型进行处理，实现了在图像分类任务中的出色表现。与传统的卷积神经网络（CNN）不同，Vanilla ViT直接将图像块转换为序列数据，并使用Transformer的自注意力机制来建立全局感知。

Vanilla ViT的主要思想是将输入图像划分为固定数量的图像块，然后将每个图像块展平为向量表示，并作为输入序列传递给Transformer编码器。编码器利用自注意力机制来捕捉全局上下文信息，并在最后一层进行分类。

与CNN相比，Vanilla ViT具有一些优点，例如能够处理任意大小的图像、具有较少的参数和更好的可解释性。然而，由于ViT对输入图像进行了划分，并且仅利用了局部上下文信息，因此在处理具有大量细节和全局结构的图像时可能存在一定的限制。