vision transformer中的attention的改进

Vision Transformer中的Attention改进主要包括以下几个方面：

1. Patch-Based Attention: 在原始的Transformer中，每个token都与所有其他token进行了注意力计算。但在Vision Transformer中，由于图像像素数量非常大，因此无法直接将图像像素作为token输入。因此，VT使用了一个Patch-Based Attention机制，将图像像素分割成多个小块作为token，然后对这些小块进行注意力计算。

2. Multi-Scale Attention: VT使用了多尺度注意力机制，允许模型在多个尺度上对不同的视觉特征进行处理，从而更好地捕捉图像中的细节信息。具体来说，VT使用了一个多头注意力机制，允许模型以不同的尺度对输入进行处理。

3. Class Attention: 在VT中，除了Patch-Based Attention和Multi-Scale Attention之外，还引入了一种称为Class Attention的注意力机制。Class Attention允许模型更好地区分不同的类别，从而提高分类性能。具体来说，Class Attention使用了一个额外的嵌入向量来表示每个类别，然后将其与输入的特征向量进行注意力计算，以提高对该类别的分类准确性。

4. Local Attention: 在VT中，还引入了一种称为Local Attention的注意力机制，允许模型对图像中的局部区域进行更加细致的处理。具体来说，Local Attention使用了一个可学习的掩码来控制注意力计算的范围，从而允许模型在局部区域上进行更精细的处理。