Token Embeddings, Segment Embeddings和Position Embeddings

在自然语言处理（NLP）中，词嵌入（Token Embeddings）、段落嵌入（Segment Embeddings）和位置嵌入（Position Embeddings）是用于表示文本输入的关键技术。它们都是Transformer架构（如BERT, GPT系列）的基础组件。

1. **词嵌入** (Token Embeddings):[^4]
它们是将每个单词转换成固定长度向量的过程。这些向量捕捉了单词的语义信息，比如"king"和"queen"可能会有相似的向量，因为它们在语义上属于同一类别。词嵌入通常通过预训练模型（如Word2Vec, GloVe或Transformer的自注意力机制）学习得到。

2. **段落嵌入** (Segment Embeddings):[^5]
当一段文本被分成两个部分（如句子对在机器翻译任务中），每部分会有一个特定的段落标识嵌入。这有助于模型区分输入的不同部分，比如区分问句和陈述句。在双向Transformer中，可能会使用不同的标识符来标记首尾段落。

3. **位置嵌入** (Position Embeddings):[^4]
为了捕捉词语在序列中的相对位置信息，每个位置都有一个对应的固定向量。位置嵌入可以是绝对的（与单词的索引直接关联）或相对的（基于相邻词语的位置）。这使得模型能够理解单词顺序对于理解和生成上下文至关重要。

这些嵌入通常是添加到词嵌入后的，以获得更丰富的输入表示，包括词汇意义、篇章结构和局部顺序信息。