transformer embedding和positionembedding

### Transformer 模型中的嵌入层

在自然语言处理领域，Transformer架构通过引入自注意力机制来改进序列建模的效果。为了使模型能够理解输入数据，在输入阶段会应用两种类型的嵌入：词嵌入（Token Embedding）和位置嵌入（Positional Encoding）。这些嵌入共同作用于将离散的单词映射到连续向量空间中。

#### Token Embedding (词嵌入)

对于每一个输入token，都会有一个对应的d维向量表示其语义信息。这个过程通常基于预训练好的词表实现，即给定一个大小为V的词汇库，则可以构建一个形状为[V,d]的查找矩阵W_emb。当遇到具体词语时，只需索引该矩阵即可获得相应的低维度稠密特征表达[^1]。

import torch.nn as nn

class TokenEmbedding(nn.Module):
    def __init__(self, vocab_size: int, emb_size):
        super(TokenEmbedding, self).__init__()
        self.embedding = nn.Embedding(vocab_size, emb_size)
        
    def forward(self, tokens):  
        return self.embedding(tokens) * math.sqrt(emb_size)

#### Positional Encoding (位置编码)

由于Transformer摒弃了传统的RNN/LSTM结构而完全依赖于前馈神经网络，因此无法捕捉序列内部的时间顺序关系。为此，研究者设计了一种特殊的位置编码方案——波形函数形式的位置编码，它被加到了原始的token embeddings之上。这种做法不仅保留了绝对位置的信息，同时也允许模型学习相对距离特性。

公式如下：

\[
PE_{pos,2i}=\sin(pos/10000^{2i/d_{model}}), \quad PE_{pos,2i+1}=\cos(pos/10000^{2i/d_{model}})
\]

其中\( pos \)代表token在整个句子中的线性序号； \( i \in [0,\frac{d}{2})\) 表示embedding维度的一半范围内的整数下标； \( d_{model}\) 则指定了最终输出embeddings的总宽度。

def get_positional_encoding(max_len, d_model):
    pe = torch.zeros(max_len, d_model)
    position = torch.arange(0, max_len).unsqueeze(1)
    div_term = torch.exp(torch.arange(0, d_model, 2) *
                         -(math.log(10000.0) / d_model))
    
    pe[:, 0::2] = torch.sin(position * div_term)
    pe[:, 1::2] = torch.cos(position * div_term)
    
    return pe.unsqueeze(0)