Transformer模型基本原理

### Transformer模型工作机制和核心概念

#### 自注意力机制
Transformer模型的关键在于其自注意力机制，该机制允许模型在处理序列数据时关注不同位置的信息。通过计算查询（Query）、键（Key）和值（Value），来自同一输入的不同部分之间的关联得以量化并加权求和，从而形成新的表示形式[^2]。

import torch.nn as nn

class MultiHeadAttention(nn.Module):
    def __init__(self, d_model, num_heads):
        super(MultiHeadAttention, self).__init__()
        assert d_model % num_heads == 0
        
        self.d_k = d_model // num_heads
        self.num_heads = num_heads
        self.linears = clones(nn.Linear(d_model, d_model), 4)

    def forward(self, query, key, value, mask=None):
        nbatches = query.size(0)
        
        # Do all the linear projections in batch from d_model => h x d_k 
        query, key, value = \
            [l(x).view(nbatches, -1, self.num_heads, self.d_k).transpose(1, 2)
             for l, x in zip(self.linears, (query, key, value))]
            
        scores = torch.matmul(query, key.transpose(-2, -1)) / math.sqrt(self.d_k)
        if mask is not None:
            scores = scores.masked_fill(mask == 0, -1e9)
        p_attn = F.softmax(scores, dim=-1)
        output = torch.matmul(p_attn, value)
        
        return output.transpose(1, 2).contiguous().view(nbatches, -1, self.num_heads * self.d_k)

#### 多头注意力机制
为了增强表达能力，引入了多头注意力机制。这意味着在同一层内执行多次平行的自注意运算，并将结果拼接起来作为最终输出的一部分。这种设计让模型可以在不同的子空间中学习到更加丰富的特征组合。

#### 前馈神经网络
每个位置上的词都经过相同的线性变换后被送入激活函数ReLU再传给下一层。这些全连接层在整个结构里重复出现，在每一层之间还加入了残差链接与归一化操作来稳定训练过程。

#### 位置编码
由于自注意力机制本身不具备顺序感，因此需要额外加入绝对或相对的位置信息以便于理解词语间的先后次序。通常采用正弦波形的位置嵌入方式实现这一点。

#### 编码器-解码器框架
整个体系由若干个相同配置的编码单元堆砌而成；而解码端则在此基础上增加了掩蔽多头注意力模块用于屏蔽未来的预测目标，防止泄露未见的真实标签影响当前时刻的学习效果[^1]。