transformer的位置编码在哪里

Transformer中的位置编码是通过在输入的嵌入向量中添加位置向量来实现的。具体来说，对于输入序列中的每个位置，都会对其对应的嵌入向量加上一个位置向量，这个位置向量是通过一个固定的公式计算得出的，公式如下：

$$
PE_{(pos,2i)} = \sin(pos/10000^{2i/d_{model}}) \\
PE_{(pos,2i+1)} = \cos(pos/10000^{2i/d_{model}})
$$

其中，$pos$表示位置，$i$表示嵌入向量的维度，$d_{model}$表示嵌入向量的维度。这个公式的作用是为每个位置编码一个固定的向量，这个向量可以表达该位置与其他位置之间的相对位置信息，从而帮助模型更好地理解输入序列中的顺序信息。