Transformer模型中的Encoder-Decoder结构解析

# 1. Encoder结构**

### 2.1 Transformer Encoder的原理

Transformer Encoder由两个子层组成：自注意力机制和前馈神经网络。

**2.1.1 自注意力机制**

自注意力机制允许序列中的每个元素与自身和序列中的其他元素进行交互。它通过计算一个查询向量、一个键向量和一个值向量之间的点积来实现。点积越大，两个元素之间的相关性就越大。

**2.1.2 前馈神经网络**

前馈神经网络是一个多层感知器，它将自注意力机制的输出作为输入，并输出一个新的向量。这个向量包含了序列中每个元素的表示，这些表示已经考虑了它们与其他元素之间的关系。

# 2. Encoder结构

### 2.1 Transformer Encoder的原理

Transformer Encoder是一个多层神经网络，它将输入序列转换为一个固定长度的向量表示。它由两个主要组件组成：

- **自注意力机制：**它允许模型关注输入序列中的不同元素之间的关系，而不管它们的相对位置。
- **前馈神经网络：**它对自注意力机制的输出进行非线性变换，以提取更高级别的特征。

### 2.1.1 自注意力机制

自注意力机制计算输入序列中每个元素与其他所有元素之间的相似度。它通过以下步骤实现：

def scaled_dot_product_attention(query, key, value, mask=None):
    """
    计算缩放点积注意力。

    参数：
        query (Tensor): 查询向量。
        key (Tensor): 键向量。
        value (Tensor): 值向量。
        mask (Tensor, 可选): 掩码矩阵，用于屏蔽不需要关注的元素。

    返回：
        Tensor: 注意力加权值。
    """
    # 计算点积
    dot_product = torch.matmul(query, key.transpose(-2, -1))

    # 缩放点积
    scaled_dot_product = dot_product / math.sqrt(key.size(-1))

    # 应用掩码（如果提供）
    if mask is not None:
        scaled_dot_product = scaled_dot_product.masked_fill(mask == 0, -1e9)

    # 计算注意力加权值
    attention_weights = F.softmax(scaled_dot_product, dim=-1)

    # 计算注意力加权值的加权和
    output = torch.matmul(attention_weights, value)

    return output

### 2.1.2 前馈神经网络

前馈神经网络是一个多层感知器，它对自注意力机制的输出进行非线性变换。它通常由以下层组成：

class FeedForwardNetwork(nn.Module):
    """
    前馈神经网络。

    参数：
        d_model (int): 输入和输出特征维度。
        d_ff (int): 隐藏层特征维度。
        dropout (float, 可选): 丢弃率。
    """

    def __init__(self, d_model, d_ff, dropout=0.1):
        super(FeedForwardNetwork, self).__init__()
        self.linear1 = nn.Linear(d_model, d_ff)
        s