Transformer代码模块

Transformer是一种深度学习模型，主要用于处理序列数据，尤其是在自然语言处理领域，如机器翻译、文本分类等任务上表现出色。其核心组成部分包括以下几个关键代码模块：

1. **自注意力层（Self-Attention Layer）**：这是Transformer架构的核心部分，通过计算每个位置的输入与所有其他位置之间的相似度，生成一个加权的表示。这通常涉及三个矩阵操作：查询（Q）、键（K）和值（V），并通过softmax函数进行归一化。

def self_attention(Q, K, V):
    similarity = torch.matmul(Q, K.transpose(-2, -1)) / sqrt(K.shape[-1])
    attention_weights = softmax(similarity, dim=-1)
    output = torch.matmul(attention_weights, V)
    return output

2. **前馈神经网络（Feedforward Network）**：每层自注意力之后，通常会有一个前馈网络用于进一步处理上下文信息。它通常包含两层线性变换，中间加上ReLU激活。

def feed_forward(x):
    x = torch.relu(torch.Linear(x.size(-1), hidden_dim)(x))
    x = torch.Linear(hidden_dim, x.size(-1))(x)
    return x

3. **位置编码（Positional Encoding）**：为了捕捉序列的顺序信息，Transformer引入了固定或可学习的位置编码机制，将其添加到原始词向量中。

4. **堆叠和残差连接（Stacking and Residual Connections）**：多个自注意力和前馈网络层串联在一起，并通过残差连接（skip connection）保证信息流动，增强了模型的训练效果。

class TransformerBlock(nn.Module):
    def __init__(self, ...):
        super().__init__()
        self.self_attn = ...
        self.ffn = ...

    def forward(self, x):
        residual = x
        x = self.self_attn(x) + residual
        x = self.ffn(x) + x  # Residual connections
        return x