transformer位置编码

Transformer 模型中的位置编码是为了将序列中每个元素的位置信息加入到嵌入向量中，以便模型能够捕获序列中元素之间的相对位置关系。具体来说，位置编码是一组可学习的向量，每个向量对应于序列中的一个位置，可以根据其位置和角度计算。位置编码向量被添加到嵌入向量中，以获得位置信息的表示。通常，位置编码向量被设计为正弦曲线和余弦曲线的组合，如下所示：

$$PE_{(pos,2i)} = sin(pos/10000^{2i/d_{model}})$$

$$PE_{(pos,2i+1)} = cos(pos/10000^{2i/d_{model}})$$

其中，$pos$ 是位置，$i$ 是在位置编码向量中的索引，$d_{model}$ 是嵌入向量的维度。这种编码方式可以捕获序列中元素之间的相对位置关系，而不受序列长度的影响。