Dual注意力机制公式

Dual注意力机制是一种用于处理序列数据的注意力机制，它结合了自注意力和交叉注意力两种机制。其公式可以表示为：

自注意力：
$$
\text{SelfAttention}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V
$$

交叉注意力：
$$
\text{CrossAttention}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V
$$

其中，$Q$、$K$、$V$分别表示查询、键和值的矩阵，$d_k$表示键的维度。自注意力机制通过计算查询与键的相似度得到权重，然后将权重与值相乘得到输出。交叉注意力机制与自注意力机制类似，不同之处在于输入的查询来自于一个序列，而键和值来自于另一个序列。