Vision Transformer(ViT)

Vision Transformer (ViT) 是一种基于Transformer架构的图像识别模型，它在计算机视觉领域引起了革命性的变化，尤其是在自然语言处理技术成功应用于视觉任务后。传统上，卷积神经网络 (CNN) 在图像识别中表现出色，但ViT 通过将整个图像划分为固定大小的 patches（小块），然后将这些patches作为序列输入到Transformer中，实现了端到端的学习，无需手动设计的特征提取器。

1. **Transformer结构**：ViT借鉴了Transformer在自然语言处理中的自注意力机制，能够捕捉全局上下文信息，这对于理解图像内容至关重要。

2. **输入表示**：每个patch被转化为一个向量，并加上位置编码，以便Transformer理解patch的相对位置。

3. **编码和解码**：ViT采用编码器-解码器架构，编码器用于学习图像特征，解码器则负责分类或回归任务。

4. **分割与嵌入**：图像被水平划分成多个非重叠的区域（如16x16），然后每个区域转换为固定维度的向量，通过线性层嵌入到Transformer的输入空间。

5. **预训练与微调**：ViT通常先在大规模无监督数据集（如ImageNet）上预训练，然后在特定的下游任务上进行微调。