Transformer多头注意力表达式

Transformer多头注意力表达式是通过将输入进行线性变换后分成若干个头，然后分别计算每个头的注意力权重，并将它们加权求和得到最终的表示。具体表达式如下：

\[
\text{{MultiHeadAttention}}(Q,K,V) = \text{{Concat}}(\text{{head}}_1, \text{{head}}_2, ..., \text{{head}}_h) \cdot W^O
\]

其中，\(Q\)、\(K\)和\(V\)分别代表查询、键和值，\(\text{{head}}_i\)表示第\(i\)个注意力头的计算结果，\(h\)表示注意力头的个数。每个注意力头的计算公式如下：

\[
\text{{head}}_i = \text{{Attention}}(Q \cdot W_i^Q, K \cdot W_i^K, V \cdot W_i^V)
]

其中，\(W_i^Q\)、\(W_i^K\)和\(W_i^V\)是线性变换的权重矩阵，\(\text{{Attention}}\)是计算注意力权重的函数。