transformer FFN的实现

Transformer中的FFN（position-wise feed-forward network）是由两个全连接层组成的，其中第一层的输出维度是d_ff（通常是2048），第二层的输出维度是d_model（Transformer模型的隐藏层维度）。FFN的实现可以通过以下代码实现：

import torch.nn as nn

class PositionwiseFeedForward(nn.Module):
    def __init__(self, d_model, d_ff, dropout=0.1):
        super(PositionwiseFeedForward, self).__init__()
        self.w_1 = nn.Linear(d_model, d_ff)
        self.w_2 = nn.Linear(d_ff, d_model)
        self.dropout = nn.Dropout(dropout)

    def forward(self, x):
        return self.w_2(self.dropout(nn.functional.relu(self.w_1(x))))

在这个代码中，我们定义了一个名为PositionwiseFeedForward的类，它继承自nn.Module。在类的初始化函数中，我们定义了两个全连接层w_1和w_2，以及一个dropout层。在前向传播函数中，我们首先将输入x通过第一个全连接层w_1，然后使用ReLU激活函数进行非线性变换，接着使用dropout层进行正则化，最后通过第二个全连接层w_2得到输出。