Introducing Convolutions to Vision Transformers

### 引入卷积设计到视觉Transformer中的介绍与实现

#### 背景与动机

视觉Transformer (ViT) 已经成为处理图像数据的强大工具。然而，在原始的ViT架构中，仅依赖于自注意力机制来捕捉空间关系可能会忽略局部特征的学习效率。为了弥补这一不足并增强模型性能，研究者们探索了将卷积操作融入到Vision Transformer的设计之中[^1]。

#### 卷积在视觉Transformer中的作用

通过引入卷积层，可以在早期阶段提取更丰富的局部纹理信息，并且有助于缓解位置编码带来的局限性。具体来说：

- **保留局部结构**：相比于全局范围内的自注意力计算方式，卷积能够更好地保持输入图片的空间连续性和邻域一致性。

- **减少参数量和计算成本**：适当应用浅层的小尺寸kernel size（如3×3），可以有效降低整体网络复杂度而不牺牲太多表达能力。

import torch.nn as nn

class ConvBlock(nn.Module):
    def __init__(self, in_channels, out_channels, kernel_size=3, stride=1, padding=1):
        super(ConvBlock, self).__init__()
        self.conv = nn.Conv2d(in_channels, out_channels, kernel_size, stride, padding)
        self.norm = nn.LayerNorm([out_channels])
        self.act = nn.GELU()

    def forward(self, x):
        return self.act(self.norm(self.conv(x)))

此代码片段展示了如何定义一个简单的带有归一化和激活函数的标准二维卷积模块。

#### 实现细节

当把卷积加入到Visual Transformers时，通常会考虑以下几种策略之一或组合使用它们：

- **混合专家(MoE)** 架构下作为子组件；
- 替代部分多头自关注单元的位置；
- 增加额外路径以形成跳跃连接形式；

这些方法旨在利用卷积的优势同时不破坏原有框架的核心特性——即长距离依赖建模的能力以及灵活性高的patch embedding方案。