transformer 词向量编码

Transformer 模型中的词向量编码是通过将每个单词映射到一个高维空间中的向量来实现的。这个映射过程是通过一个叫做“嵌入层（Embedding Layer）”的神经网络层来完成的。在嵌入层中，每个单词都被映射到一个固定长度的向量表示，这个向量表示被称为“词向量（Word Embedding）”。

具体来说，嵌入层的输入是一个整数序列，每个整数代表一个单词在词表中的索引。这些整数首先被转换成对应的词向量，然后送入 Transformer 模型中进行处理。

在 Transformer 模型中，词向量会被进一步加工和组合，最终生成模型的输出。这个过程是通过多层自注意力机制和前馈神经网络来实现的。