ositional encoding 代码

位置编码（Positional Encoding）是Transformer模型中一种用于对输入序列中不同位置的词语进行编码的技术。在Transformer模型中，位置编码用于表示序列中不同位置的词语之间的相对位置关系，从而帮助模型捕捉序列中的位置信息。

位置编码的代码实现通常如下所示：

import numpy as np

def positional_encoding(seq_len, d_model):
    position = np.arange(seq_len)[:, np.newaxis]
    div_term = np.exp(np.arange(0, d_model, 2) * -(np.log(10000.0) / d_model))
    pos_enc = np.zeros((seq_len, d_model))
    pos_enc[:, 0::2] = np.sin(position * div_term)
    pos_enc[:, 1::2] = np.cos(position * div_term)
    return pos_enc

在上述代码中，函数`positional_encoding`接受两个参数：`seq_len`表示输入序列的长度，`d_model`表示模型的隐藏状态的维度。函数中首先使用`np.arange`生成一个包含序列长度的数组，并在其维度上添加一个新维度，得到`position`数组。然后，使用`np.exp`以及乘法和除法操作计算`div_term`数组，用于后续的正弦和余弦计算。接下来，初始化一个全零矩阵`pos_enc`，其维度为`(seq_len, d_model)`。最后，使用切片操作将计算得到的正弦和余弦值分别填充到`pos_enc`矩阵的奇数列和偶数列上，实现位置编码的计算。

位置编码常用于Transformer模型中的自注意力机制中，以将位置信息融入到输入序列的表示中，提升模型的性能。