PositionEmbeddingSine

PositionEmbeddingSine是一种用于自然语言处理（NLP）神经网络中的位置编码技术。它通过将正弦和余弦函数作为公式中的基础操作，为输入序列的每个位置生成一个位置向量。该位置向量可以告诉模型每个标记的位置以及标记之间的相对位置。这有助于模型更好地理解输入序列中的标记顺序和位置关系。

以下是PositionEmbeddingSine的Python实现[^1]：

import math
import torch
import torch.nn as nn
import torch.nn.functional as F

class PositionEmbeddingSine(nn.Module):
    def __init__(self, num_embeddings, embedding_dim, padding_idx=None):
        super().__init__()
        self.embedding_dim = embedding_dim
        if padding_idx is not None:
            num_embeddings += 1
            self.padding_idx = padding_idx + 1
        else:
            self.padding_idx = None
        self.weights = nn.Parameter(torch.zeros(num_embeddings, embedding_dim))
        self.reset_parameters()

    def reset_parameters(self):
        pos = torch.arange(0, self.weights.size(0)).float().unsqueeze(1)
        div = torch.exp(torch.arange(0, self.embedding_dim, 2).float() * -(math.log(10000.0) / self.embedding_dim))
        self.weights.data[:, 0::2] = torch.sin(pos * div)
        self.weights.data[:, 1::2] = torch.cos(pos * div)

        if self.padding_idx is not None:
            nn.init.constant_(self.weights[self.padding_idx], 0)

    def forward(self, x):
        bsz, seq_len = x.size()
        if self.padding_idx is not None:
            mask = x.eq(self.padding_idx)
            mask[:, 0] = False
            positions = mask.cumsum(dim=1)
            positions = positions.masked_fill(mask, 0)
        else:
            positions = torch.arange(0, seq_len, dtype=torch.float, device=x.device).unsqueeze(0).expand(bsz, -1)

        emb = self.weights.index_select(0, positions.long().view(-1)).view(bsz, seq_len, -1)
        return emb

该模型的输入参数是输入的序列（x），其输出是一个位置嵌入矩阵（emb），其中每一行都是序列的一个位置的位置向量。

参考文献：
[^1]: [Attention is All You Need](https://arxiv.org/abs/1706.03762)