vit transformer中mlp层代码

在 ViT（Vision Transformer）中，MLP (Multilayer Perceptron) 层被称为 `MlpBlock`，它由两个线性变换（Linear）和一个激活函数（GELU）组成。以下是 `MlpBlock` 的 PyTorch 实现代码：

import torch.nn as nn
import torch.nn.functional as F

class MlpBlock(nn.Module):
    def __init__(self, in_features, mlp_ratio=4.0):
        super(MlpBlock, self).__init__()
        hidden_features = int(in_features * mlp_ratio)
        self.fc1 = nn.Linear(in_features, hidden_features)
        self.fc2 = nn.Linear(hidden_features, in_features)
        self.act_fn = nn.GELU()

    def forward(self, x):
        x = self.fc1(x)
        x = self.act_fn(x)
        x = self.fc2(x)
        x = F.dropout(x, p=0.1)
        x = x + input
        return x

在上面的代码中，`in_features` 指的是输入特征的维度，`mlp_ratio` 是一个超参数，它控制了隐藏层的大小（即第一个线性变换的输出维度）相对于输入特征的大小。`MlpBlock` 的 `forward` 方法首先对输入数据进行第一个线性变换，然后通过激活函数（GELU）进行非线性变换，再进行第二个线性变换。之后，还进行了一个 dropout 操作，最后将该层的输出与输入相加并返回。这里的相加是指残差连接（Residual Connection），它有助于提高模型的训练效果。