attention 和 self attention

Attention是一种机制，用于在机器学习和自然语言处理中，将输入序列中的不同部分赋予不同的权重，以便在处理过程中更加关注重要的信息。而Self-Attention是Attention的一特殊形式，它用于计算输入列中各个元素之间的相关性，并根据相关性为每个元分配权重。

Self-Attention的计算过程如下：
1. 首先，通过将输入序列映射到三个不同的向量空间（即查询、键和值空间）来生成查询向量、键向量和值向量。
2. 接下来，通过计算查询向量和键向量之间的相似度得到注意力权重。相似度可以使用点积、缩放点积等方法计算。
3. 然后，将注意力权重与值向量相乘，并对结果进行加权求和，得到最终的自注意力表示。

Self-Attention的优势在于它能够捕捉输入序列中各个元素之间的长距离依赖关系，并且可以同时处理多个位置的信息。因此，它在机器翻译、文本生成等任务中取得了很好的效果。