absolute positional embeddings是什么

Absolute positional embeddings是Transformer模型中的一种位置编码方式。它是一种用于将序列的位置信息嵌入到Transformer模型中的技术，用于处理输入序列的相对位置和绝对位置。与相对位置编码不同，绝对位置编码不仅考虑了当前token的位置，还考虑了整个序列的位置，因此可以更好地捕捉长序列中的位置信息。

在绝对位置编码中，每个token的位置信息被编码为一个固定大小的向量，该向量的值仅取决于该位置，而不受序列中其他位置的影响。这些位置向量可以被预先计算并加入到输入嵌入矩阵中。在Transformer模型中，绝对位置编码是通过加上位置向量来实现的，这使得模型能够更好地处理输入序列中的位置信息。