transformer位置编码图

### Transformer 模型位置编码的图表与可视化

为了更好地理解Transformer模型中的位置编码机制，可以借助一些常见的图表和可视化方法来展示其工作原理。

#### 1. 位置编码的作用
位置编码用于给定输入序列中的每个位置赋予唯一的表示形式。由于Transformer模型本身不具备处理顺序信息的能力，因此引入了位置编码以帮助网络识别不同token之间的相对距离[^2]。

#### 2. 使用三角函数的原因
选择正弦和余弦函数作为位置编码的基础是因为这些周期性的函数可以帮助模型学习到更复杂的模式，并且使得任意两个固定间隔的位置具有相同的相对关系。具体来说，在偶数维度上使用`sin`函数而在奇数维度上使用`cos`函数来进行编码：

\[ PE_{(pos,2i)} = \sin\left(\frac{pos}{10000^{2i/d}}\right) \]

\[ PE_{(pos,2i+1)} = \cos\left(\frac{pos}{10000^{2i/d}}\right) \]

其中\( pos \)代表位置索引；\( d \)为嵌入向量的总维数；而 \( i \) 则是从零开始计数的具体维度编号。

#### 3. 可视化实例
下面是一个简单的Python代码片段，用来绘制前几个位置上的位置编码值随时间变化的趋势图:

import numpy as np
import matplotlib.pyplot as plt

def get_position_encoding(seq_len=50, embed_dim=64):
    position_encodings = []
    
    for pos in range(seq_len):
        encoding_at_pos = [
            (np.sin(pos / (10000 ** ((2 * i)/embed_dim))) if i % 2 == 0 else 
             np.cos(pos / (10000 ** ((2 * i)/embed_dim)))) 
            for i in range(embed_dim)]
        
        position_encodings.append(encoding_at_pos)

    return np.array(position_encodings)


seq_length = 50  
embedding_dimension = 8  

pe_matrix = get_position_encoding(seq_length, embedding_dimension)

plt.figure(figsize=(10,7))
for dim in range(embedding_dimension//2):   
    plt.plot(pe_matrix[:,dim*2], label=f'Dim {dim*2}')
    plt.plot(pe_matrix[:,dim*2+1], linestyle='--',label=f'Dim {dim*2+1}')

plt.title('Position Encodings Visualization')
plt.xlabel('Sequence Position')
plt.ylabel('Encoding Value')
plt.legend()
plt.show()

这段代码会生成一系列曲线，每条曲线上下波动代表着对应维度下的位置编码数值随着序列长度的变化情况。通过观察图形可以看出，即使是在较长的距离内，相邻位置之间仍然保持着一定的相似性和规律性，这有助于保持长期依赖的有效捕捉能力。