使用Vision Transformer 进行图像分类

### 使用 Vision Transformer 实现图像分类

#### 构建模型架构
Vision Transformer (ViT) 将输入图像分割成固定大小的多个图块(patch)，这些图块被线性嵌入(embedding)，随后位置编码(position encoding)会被加到嵌入向量上，最后送入由多头自注意力机制(multi-head self-attention mechanism)组成的变换器(transformer encoder)[^1]。

import torch.nn as nn
from vit_pytorch import ViT

model = ViT(
    image_size=256,
    patch_size=32,
    num_classes=100,  # CIFAR-100 数据集类别数
    dim=1024,
    depth=6,
    heads=8,
    mlp_dim=2048,
    dropout=0.1,
    emb_dropout=0.1
)

此代码片段定义了一个基于 PyTorch 的 ViT 模型实例化对象 `model`。参数设置取决于具体应用场景需求以及所使用的硬件资源情况[^2]。

#### 准备数据集
对于不同的图像分类任务，准备相应的数据集至关重要。例如，在处理花卉图片时，先要确保已下载好花分类数据集，并按照一定比例划分为训练集和验证集/测试集[^3]：

from torchvision.datasets import ImageFolder
from torchvision.transforms import ToTensor
from torch.utils.data.dataloader import DataLoader

train_dataset = ImageFolder(root='path_to_train_data', transform=ToTensor())
test_dataset = ImageFolder(root='path_to_test_data', transform=ToTensor())

batch_size = 64
train_loader = DataLoader(train_dataset, batch_size=batch_size, shuffle=True)
test_loader = DataLoader(test_dataset, batch_size=batch_size * 2)

这段 Python 脚本展示了如何加载本地存储的数据文件夹作为数据源，并创建适合批量训练的数据迭代器。

#### 训练过程
一旦完成了上述准备工作之后就可以开始正式进入训练环节了。通常情况下会采用交叉熵损失函数(cross entropy loss function)配合随机梯度下降(SGD)优化算法来最小化预测误差；同时为了防止过拟合还可以引入正则项如权重衰减(weight decay)等技术手段:

import torch.optim as optim

criterion = nn.CrossEntropyLoss()
optimizer = optim.Adam(model.parameters(), lr=1e-4)

for epoch in range(num_epochs):
    running_loss = 0.
    
    for images, labels in train_loader:
        optimizer.zero_grad()

        outputs = model(images.cuda()) if use_gpu else model(images)
        _, preds = torch.max(outputs, 1)
        
        loss = criterion(outputs, labels.cuda() if use_gpu else labels)
        loss.backward()
        optimizer.step()

        running_loss += loss.item() * images.size(0)

    print(f'Epoch [{epoch}/{num_epochs}], Loss: {running_loss / len(train_loader.dataset)}')

这里给出了一段简单的循环体用来遍历整个训练周期内的每一个批次(batch)，并通过反向传播调整网络内部各层之间的连接权值以期达到更好的泛化能力。