同Transformer模块直

Transformer模块是基于自注意力机制（Self-Attention）的深度学习模型，它最初由Google在2017年的论文《Attention is All You Need》中提出，主要用于自然语言处理任务，如机器翻译和文本生成。Transformer完全放弃了循环神经网络（RNNs）和卷积神经网络（CNNs），直接使用注意力机制来捕获输入序列中的全局依赖关系。

以下是Transformer模块的基本结构和操作概述：

1. **编码器（Encoder）**：输入序列通过多层编码器层处理。每一层包含多头自注意力（Multi-Head Attention）、点积残差连接（Point-wise Feed-Forward Networks）以及位置编码（Positional Encoding），以捕捉序列中的相对位置信息。

   class EncoderLayer(nn.Module):
       def __init__(self, d_model, num_heads, ...):
           super(EncoderLayer, self).__init__()
           ...
           self.self_attn = MultiHeadAttention(d_model, num_heads)
           self.fc1 = nn.Linear(d_model, d_model)
           self.fc2 = nn.Linear(d_model, d_model)

   encoder = Encoder(num_layers, d_model, num_heads, ...)

2. **解码器（Decoder）**：解码器与编码器类似，但添加了前向掩码（Masked Self-Attention）以避免看到未来的输入，同时在自注意力部分还加入了源编码器的输出作为上下文信息。

   class DecoderLayer(nn.Module):
       def __init__(self, d_model, num_heads, ...):
           super(DecoderLayer, self).__init__()
           ...
           self.self_attn = MultiHeadAttention(d_model, num_heads, src_mask=True)
           self.src_attn = MultiHeadAttention(d_model, num_heads)
           self.fc1 = nn.Linear(d_model, d_model)
           self.fc2 = nn.Linear(d_model, d_model)

   decoder = Decoder(num_layers, d_model, num_heads, ...)

3. **注意力头（Multi-Head Attention）**：将输入特征分解成多个并行的子空间，每个子空间执行独立的注意力计算，最后合并结果。

   def multi_head_attention(Q, K, V, num_heads):
       ...
       attn_output = torch.cat(heads, dim=-1)
       output = linear(attn_output, d_model)
       return output

Transformer的这些核心组件使得模型能够并行处理输入，极大地提高了训练速度，尤其是在处理长序列时。