写出注意力机制的计算公式

注意力机制是一种在深度学习模型中，用于处理序列数据时突出重要部分并忽视无关细节的关键技术。原始的自注意力（Self-Attention）公式通常涉及三个步骤：

1. **Query Key Dot Product** (查询、键点积)：
对于每个输入位置 \( i \)，我们有三个向量：查询 \( Q_i \)，键 \( K_i \)，和值 \( V_i \)。它们的关系由下面的等式表示：
\[ Attention(Q_i, K_j) = softmax(\frac{Q_iK_j^T}{\sqrt{d_k}}) \]
其中 \( d_k \) 是键向量的维度，softmax函数将点积转换为概率分布。

2. **Attention Weighted Sum** (注意力加权求和):
使用上一步得到的概率分布，对值向量做加权求和，生成每个位置的上下文向量 \( C_i \)：
\[ C_i = \sum_{j=1}^{n} Attention(Q_i, K_j)V_j \]

3. **Output Layer** (输出层)：
最后的上下文向量通过线性变换转化为最终输出，有时会加上一个前馈网络（Feedforward Network）。

注意，这只是注意力机制的基本形式，实际应用可能会包括多头注意力（Multi-Head Attention）、位置编码等扩展。