transformer源代码

Transformer模型的源代码如下所示：

class Transformer(nn.Module):
  def __init__(self):
    super(Transformer, self).__init__()
    self.encoder = Encoder() # 编码层
    self.decoder = Decoder() # 解码层
    self.projection = nn.Linear(d_model, tgt_vocab_size, bias=False) # 输出层

  def forward(self, enc_inputs, dec_inputs):
    # 这里有两个数据进行输入，一个是enc_inputs 形状为[batch_size, src_len]，主要是作为编码段的输入
    # 一个dec_inputs，形状为[batch_size, tgt_len]，主要是作为解码端的输入

    # 以下是转置代码
    q_s = self.W_Q(Q).view(batch_size, -1, n_heads, d_k).transpose(1, 2)

    # 输出dec_outputs[batch_size, tgt_len, d_model] positionalEncodding位置编码