trsanfomer的原理

Transformer模型基于自注意力机制，其核心步骤可以概括如下[^1]:

1. **得分计算**：对于输入序列中的每个位置，它会与其他所有位置的元素交互，计算出注意力分数。这些分数通常是通过点积（矩阵乘法）和随后的softmax函数得到的，目的是找出哪些位置对当前位置最重要。

2. **加权求和**：使用softmax分数对输入序列中所有位置的信息进行加权，这个加权过程相当于给每个位置分配了一个权重，表示该位置信息的重要性。

3. **分数标准化**：为了保证梯度稳定性，通常会将分数除以一个常数，比如8（论文中提到的8是基于64维空间的一个调整），这个过程有时称为分数归一化或标准化。

4. **残差连接和层归一化**：在自注意力层之后，Transformer使用残差连接（Residual Connections）保留原始输入信息，接着应用层归一化（Layer Normalization），这有助于网络学习更深的层次结构。

5. **Position-wise Feed-Forward Networks (FFNs)**：每个编码器由多个子层组成，其中包含了Position-wise Feed-Forward Networks。它们执行线性变换并添加ReLU激活，最后再次进行线性变换，这一部分负责捕捉局部特征。

举例来说，在一个简单的PositionwiseFeedForward模块中：

class PositionwiseFeedForward(nn.Module):
    ...
    def forward(self, x):
        # 先通过第一个线性层，ReLU激活，dropout
        intermediate = self.dropout(F.relu(self.w_1(x)))
        # 再通过第二个线性层得到最终输出
        output = self.w_2(intermediate)
        return output

在这个过程中，FFN会对每个位置的输入进行独立的非线性转换，进一步增强模型的表达能力。