transformer 例

Transformer 是一种基于自注意力机制（self-attention）的深度学习模型，广泛应用于自然语言处理任务。以下是一个简单的 Transformer 模型的示例：

import torch
import torch.nn as nn

class Transformer(nn.Module):
    def __init__(self, vocab_size, embedding_dim, num_heads, hidden_dim, num_layers):
        super(Transformer, self).__init__()
        self.embedding = nn.Embedding(vocab_size, embedding_dim)
        self.encoder = nn.TransformerEncoder(
            nn.TransformerEncoderLayer(embedding_dim, num_heads, hidden_dim),
            num_layers
        )
        self.fc = nn.Linear(embedding_dim, vocab_size)
    
    def forward(self, x):
        embedded = self.embedding(x)
        encoded = self.encoder(embedded)
        output = self.fc(encoded)
        return output

在这个示例中，我们定义了一个简单的 Transformer 模型，包含了嵌入层（embedding layer）、编码器（encoder）和全连接层（fully connected layer）。

模型的输入是一个整数序列 x，代表输入文本的单词索引。首先，我们通过嵌入层将每个单词索引转换为对应的词向量。然后，将词向量输入给编码器进行特征编码。最后，通过全连接层将编码后的特征映射回词汇表大小的向量，用于预测下一个单词。

这只是一个简单的示例，实际使用时还需要根据任务的要求进行适当的调整和扩展。