多头注意力机制原理详解

多头注意力机制（Multi-head Attention）是Transformer模型的核心组件之一，它借鉴了人类注意力的原理，将注意力分散到多个“头部”（Head），每个头部负责关注输入序列的不同部分，然后将所有头部的结果合并。其工作流程如下：

1. **分头（Splitting）**：原始的输入序列经过线性变换分解成多个并行的特征子空间，每个子空间对应一个头部。

2. **自注意力计算**：对于每个头部，计算输入序列中所有位置之间的注意力权重，通常通过查询(Q)、键(K)和值(V)的矩阵乘法以及softmax函数实现。这个过程允许每个头部关注不同的模式或上下文。

3. **加权求和**：对每个位置的注意力结果进行加权求和，这里的权重由softmax后的注意力分数给出，这一步保留了全局的信息。

4. **拼接结果**：所有头部处理后的向量进行拼接，恢复到原始维度，形成新的表示。

5. **残差连接（Residual Connection）**：将拼接结果添加到原输入上，再通过层归一化进行调整，保持信息流动的连续性。