在Transformer中计算每个token之间的相关性

在Transformer模型中，计算每个token之间的相关性通常涉及到自注意力机制（Self-Attention）。自注意力允许模型在处理序列输入时，对任意两个位置的输入单元（tokens）进行直接交互，而不仅仅是相邻的元素。这是通过查询（Query）、键（Key）和值（Value）来实现的。

1. **定义**[^4]:

   Attention(Q, K, V) = softmax(\frac{QK^T}{\sqrt{d_k}})V

其中，\( Q \) 是查询向量，\( K \) 和 \( V \) 分别是键和值矩阵，\( d_k \) 是维度缩放因子，用于防止数值过大导致溢出。

2. **计算**[^4]:
- 对每个token，将其表示为一个查询向量（Q）。
- 计算查询向量与所有其他token的键（K）的点积，得到注意力权重。
- 应用softmax函数将权重转换为概率分布，这样每个token的关注度就被分配到所有其他token上。
- 最后，使用这些注意力权重乘以值矩阵（V），得到上下文向量，这代表了每个token对所有其他token的加权组合。

3. **加性注意力**[^4] 可能还会包括一个可学习的掩码（masking），以避免模型看到未来的位置（在自回归模型中，例如生成文本任务）或考虑特定的上下文范围（如在某些注意力层中限制范围）。