自注意力机制和跨注意力机制

自注意力机制（Self-Attention）是一种用于处理序列数据的注意力机制，最早应用于机器翻译任务中的Transformer模型。它通过计算输入序列中每个元素与其他元素之间的相关性来获取上下文信息，从而实现对序列中不同位置的重要性加权。

自注意力机制的计算过程如下：
1. 首先，通过线性变换将输入序列的每个元素映射到三个不同的向量：查询向量（Query）、键向量（Key）和值向量（Value）。
2. 接着，计算查询向量与所有键向量的相似度得分，可以使用点积、加性或其他方法来计算相似度。
3. 将相似度得分进行归一化处理，得到注意力权重。
4. 最后，将注意力权重与对应的值向量进行加权求和，得到自注意力机制的输出。

跨注意力机制（Cross-Attention）是自注意力机制的一种扩展形式，用于处理两个不同序列之间的关系。在机器翻译任务中，一个序列是源语言句子，另一个序列是目标语言句子。跨注意力机制通过计算源语言序列与目标语言序列之间的相关性来获取双方的上下文信息。

跨注意力机制的计算过程与自注意力机制类似，只是在计算相似度得分时，将查询向量来自于一个序列，而键向量和值向量来自于另一个序列。通过跨注意力机制，模型可以在翻译任务中更好地理解源语言和目标语言之间的对应关系。