轻量级模型vit模型

### 轻量级Vision Transformer (ViT) 模型概述

近年来，在计算机视觉领域，基于Transformer的模型因其卓越的数据拟合能力和强大的远程依赖关系学习能力而受到广泛关注[^1]。然而，传统的大规模Transformer变体通常伴随着高昂的计算成本和硬件需求，这限制了它们在资源受限环境下的应用范围[^2]。

为了克服这些问题，研究者们提出了多种策略来构建更加轻量化且高效的Vision Transformer（ViT）。具体措施包括但不限于：

- **参数修剪**：借鉴卷积神经网络(CNN)中的剪枝技术，去除冗余权重或通道以减少不必要的计算开销。

- **简化架构设计**：通过调整内部组件配置，如缩减层数、优化自注意力机制的设计等方式降低整体复杂度。

- **引入局部感受野**：结合CNN的空间归纳偏差特性，增强对局部特征的理解力，进而改善泛化表现特别是针对小型数据集的情况。

#### Visformer 架构实例

一种具体的解决方案是由Visformer提出的新型架构——Vision-friendly Transformer(ViTF)。此方案旨在平衡效率与效能之间的矛盾点，并特别强调于低功耗平台上的适用性。实验结果显示，在保持相近甚至超越原有纯Transformer及经典CNN的基础上，Visformer能够在更少的操作次数内完成高质量的任务处理，尤其适合移动终端或其他边缘计算场景的应用开发。

import torch.nn as nn

class Visformer(nn.Module):
    def __init__(self, img_size=224, patch_size=16, embed_dim=768, depth=12, num_heads=12, mlp_ratio=4., qkv_bias=False, drop_rate=0., attn_drop_rate=0., drop_path_rate=0.):
        super().__init__()
        
        self.patch_embed = PatchEmbed(img_size=img_size, patch_size=patch_size, in_chans=3, embed_dim=embed_dim)

        dpr = [x.item() for x in torch.linspace(0, drop_path_rate, depth)]  # stochastic depth decay rule
        
        self.blocks = nn.Sequential(*[
            Block(
                dim=embed_dim,
                num_heads=num_heads,
                mlp_ratio=mlp_ratio,
                qkv_bias=qkv_bias,
                drop=drop_rate,
                attn_drop=attn_drop_rate,
                drop_path=dpr[i],
                norm_layer=nn.LayerNorm
            )
            for i in range(depth)])

        self.norm = nn.LayerNorm(embed_dim)
    
    def forward(self, x):
        x = self.patch_embed(x)
        x = self.blocks(x)
        x = self.norm(x)
        return x