kan transformer 图像分类

### Transformer在图像分类中的方法

Transformer架构最初设计用于自然语言处理任务，但其强大的建模能力使其逐渐被应用于计算机视觉领域。对于图像分类而言，一种有效的方式是将图像分割成多个小块（patch），并将这些小块视为序列数据输入到Transformer中[^1]。

具体来说，每张图片会被切分成固定大小的小方块（例如16×16像素）。之后，通过线性映射将每个图像块转换为一维向量作为Token表示形式。为了使模型能够理解不同位置的信息，在送入Transformer之前还需要加上可学习的位置编码。

#### 实现过程概述

以下是基于上述原理构建的一个简单版本的Vision Transformer (ViT) 的Python代码片段：

import torch
from torch import nn, optim
import torchvision.transforms as transforms
from PIL import Image


class PatchEmbedding(nn.Module):
    """ 将图像划分为若干个patches并嵌入 """
    
    def __init__(self, img_size=224, patch_size=16, embed_dim=768):
        super().__init__()
        
        self.img_size = img_size
        self.patch_size = patch_size
        
        num_patches = (img_size // patch_size)**2
        self.projection = nn.Conv2d(3, embed_dim, kernel_size=patch_size, stride=patch_size)

    def forward(self,x):
        x=self.projection(x).flatten(2).transpose(1,2)
        return x
    
def get_positional_encoding(seq_len,d_model):
    pe=torch.zeros((seq_len,d_model))
    position=torch.arange(0, seq_len).unsqueeze(1)
    div_term=(torch.exp(torch.arange(0., d_model, 2)*-(math.log(10000.)/d_model)))
    pe[:,::2]=torch.sin(position*div_term)
    pe[:,1::2]=torch.cos(position*div_term)
    return pe.unsqueeze(0)


class VisionTransformer(nn.Module):

    def __init__(self,...): #省略其他参数定义
        ...
        self.patch_embedding = PatchEmbedding(img_size=img_size,
                                             patch_size=patch_size,
                                             embed_dim=d_model)
        self.pos_encoder=get_positional_encoding(num_tokens,d_model)
        ...

    def forward(self, src):
        patches = self.patch_embedding(src)
        out = patches + self.pos_encoder[:,:patches.size(1),:]
        ...

这段代码展示了如何创建一个基本的Patch Embedding层以及Position Encoding机制来准备输入给后续Transformer Encoder部分的数据流。实际应用时还可以加入Class Token以便于最终预测类别标签，并且可以堆叠多层Encoder以增强特征提取效果。

针对更先进的Swin Transformer结构，则采用了分层化的设计思路，即每一阶段都会缩小空间分辨率的同时增加通道数，从而更好地捕捉局部细节与全局上下文之间的关系。此外，还引入了移位窗口划分策略使得相邻两层之间存在重叠区域，进一步提升了性能表现[^2]。