simAM注意力机制公式

SimAM（Simplified Attention Mechanism）是一种简化版的自注意力机制，它主要用于减少计算量并提高模型效率。在传统的自注意力（Self-Attention）中，每个位置的值会被其他所有位置影响，这可能导致计算复杂度较高。SimAM通常通过以下几个步骤简化：

1. **局部注意力**（Local Attention）：它限制了每个查询位置只考虑其周围固定大小的窗口内的键（Key）和值（Value），而不是全局。

2. **注意力加权**：然后按照传统的点积注意力公式计算注意力权重，但它仅限于局部范围内的元素。

3. **加权求和**：将注意力权重与对应的值相乘，并对所有局部区域求和，得到最终的表示。

简化的公式可以写作：
\[ \text{SimAM}(Q, K, V) = \sum_{i \in \text{Window}} \text{softmax}\left(\frac{Q_i \cdot K_i^T}{\sqrt{d_k}}\right) V_i \]

其中\( Q \), \( K \), \( V \) 分别是查询、键和值矩阵，\( d_k \) 是键的维度，\( i \) 表示窗口内的索引。这个过程大大减少了计算复杂度，适用于大规模数据集。