多头注意力机制 公式

多头注意力机制（Multi-head Attention Mechanism）是一种在注意力机制中引入多个注意力头（attention head）的方法，用于提升模型的表达能力和学习能力。公式如下：

首先，给定一个查询向量（query）Q、一个键向量（key）K和一个数值向量（value）V，我们可以计算注意力分数（attention score）A：
A = softmax(QK^T / √d_k)

其中，softmax表示对注意力分数进行归一化，d_k表示查询和键的维度。

然后，我们可以根据注意力分数对值向量进行加权求和，得到注意力输出（attention output）O：
O = AV

在多头注意力机制中，我们引入了多个注意力头，每个头都有自己的查询、键和值向量。然后，将每个头的注意力输出拼接在一起，并通过一个线性变换进行维度变换，得到最终的多头注意力输出。

具体而言，假设有h个注意力头，每个头的维度为d_k：
Q_i = QW_{Qi}
K_i = KW_{Ki}
V_i = VW_{Vi}

其中，W_{Qi}、W_{Ki}和W_{Vi}分别是线性变换的权重矩阵。

对于每个头i，可以根据上述公式计算注意力分数A_i和注意力输出O_i。最后，将所有头的注意力输出拼接在一起，并通过一个线性变换进行维度变换，得到最终的多头注意力输出。

O = Concat(O_1, O_2, ..., O_h)W_O

其中，Concat表示拼接操作，W_O是最终的线性变换的权重矩阵。

通过引入多个注意力头，多头注意力机制可以同时关注不同的语义信息，从而提升模型的表达能力和学习能力。