Transformer 详解

Transformer 是一种用于自然语言处理任务的深度学习模型，它是由 Google 在 2017 年提出的。相比于传统的循环神经网络和卷积神经网络，Transformer 采用了全新的 Encoder-Decoder 架构，使用了自注意力机制（Self-Attention Mechanism）来处理输入序列，从而在机器翻译、文本摘要、对话生成等任务上取得了很好的效果。

Transformer 本质上是一个 Encoder-Decoder 架构，其中 Encoder 和 Decoder 都是由多个相同的层堆叠而成。每个层都包含了两个子层，分别是 Multi-Head Attention 和 Feed Forward Neural Network。其中 Multi-Head Attention 是 Transformer 的核心，它使用了自注意力机制来计算输入序列中每个词与其他词之间的关系，从而更好地捕捉上下文信息。

Transformer 的训练过程分为两个阶段：第一阶段是无监督的预训练，使用大量的无标注数据来训练模型；第二阶段是有监督的微调，使用有标注的数据来微调模型，使其适应特定的任务。

下面是一个简单的 Transformer 模型的实现代码：

import torch
import torch.nn as nn
import torch.nn.functional as F

class Transformer(nn.Module):
    def __init__(self, input_dim, hidden_dim, output_dim, num_layers, num_heads, dropout):
        super().__init__()
        self.embedding = nn.Embedding(input_dim, hidden_dim)
        self.encoder_layers = nn.ModuleList([EncoderLayer(hidden_dim, num_heads, dropout) for _ in range(num_layers)])
        self.decoder_layers = nn.ModuleList([DecoderLayer(hidden_dim, num_heads, dropout) for _ in range(num_layers)])
        self.fc_out = nn.Linear(hidden_dim, output_dim)
        self.dropout = nn.Dropout(dropout)
        self.scale = torch.sqrt(torch.FloatTensor([hidden_dim])).to(device)
    def forward(self, src, trg, src_mask, trg_mask):
        src_len, batch_size = src.shape
        trg_len, batch_size = trg.shape
        src_pos = torch.arange(0, src_len).unsqueeze(1).repeat(1, batch_size).to(device)
        trg_pos = torch.arange(0, trg_len).unsqueeze(1).repeat(1, batch_size).to(device)
        src = self.dropout((self.embedding(src) * self.scale) + src_pos)
        trg = self.dropout((self.embedding(trg) * self.scale) + trg_pos)
        for layer in self.encoder_layers:
            src = layer(src, src_mask)
        for layer in self.decoder_layers:
            trg = layer(trg, src, trg_mask, src_mask)
        output = self.fc_out(trg)
        return output