自感和互感的计算公式csdn

自感和互感是指在信息处理系统中，系统对自身和外界的感知能力。在计算公式的角度，可以使用以下公式来计算自感和互感。

自感（Self-Attention）是指系统在处理输入序列时，能够自动地对输入序列中的每个位置进行关注和加权。具体的计算公式为：
\[ \text{自感}(x_i) = \sum_{j=1}^n( \text{softmax}(x_i \cdot x_j^T) \cdot x_j) \]

其中，\(x_i\) 表示输入序列中的第 \(i\) 个位置， \(n\) 表示序列的长度。

该公式的计算过程为：对于每个位置 \(i\)，通过将其与所有位置进行内积计算来计算该位置与其他位置的相似度。然后通过softmax函数将这些相似度进行归一化，得到每个位置与其他位置的权重。最后，将每个位置与其他位置的权重进行加权求和，得到当前位置的自感表示。

互感（Mutual-Attention）是指系统在处理多个输入序列时，能够自动地对不同序列之间的位置进行关注和加权。具体的计算公式为：
\[ \text{互感}(x_i) = \sum_{k=1}^m( \sum_{j=1}^n( \text{softmax}(x_i \cdot y_{kj}^T) \cdot y_{kj})) \]

其中，\(x_i\) 表示当前序列中的第 \(i\) 个位置， \(y_{kj}\) 表示第 \(k\) 个序列中的第 \(j\) 个位置， \(m\) 表示序列的个数。

该公式的计算过程为：对于每个位置 \(i\)，通过将其与其他序列的位置进行内积计算来计算该位置与其他序列位置的相似度。然后通过softmax函数将这些相似度进行归一化，得到当前序列与其他序列位置的权重。最后，将每个序列位置与其他序列位置的权重进行加权求和，得到当前序列位置的互感表示。

综上所述，以上是自感和互感的计算公式。