如何用pytorch构建transformer模型

可以使用pytorch提供的torch.nn.TransformerEncoder与torch.nn.TransformerEncoderLayer函数来构建transformer模型。以下是一个简单的例子：

import torch
import torch.nn as nn

# 定义输入数据
input = torch.LongTensor([[5,2,1,0,0],[1,3,1,4,0]])

# 定义词汇表大小和模型维度
src_vocab_size = 10
d_model = 512

# 定义Embeddings层
class Embeddings(nn.Module):
    def __init__(self, vocab_size, d_model):
        super(Embeddings, self).__init__()
        self.emb = nn.Embedding(vocab_size,d_model)
    def forward(self,x):
        return self.emb(x)

# 初始化Embeddings层
word_emb = Embeddings(src_vocab_size,d_model)

# 对输入数据进行Embeddings
word_embr = word_emb(input)
print('word_embr',word_embr.shape)

# 定义TransformerEncoderLayer层
encoder_layer = nn.TransformerEncoderLayer(d_model=512, nhead=8)

# 定义TransformerEncoder层
transformer_encoder = nn.TransformerEncoder(encoder_layer, num_layers=6)

# 对Embeddings后的数据进行TransformerEncoder
encoder_out = transformer_encoder(word_embr)
print('encoder_out',encoder_out.shape)

以上代码中，我们首先定义了输入数据和模型的一些参数，然后定义了Embeddings层和TransformerEncoderLayer层，最后将它们组合起来构建了TransformerEncoder模型。