pytorch的nn.Embedding的内部编码原理

PyTorch的nn.Embedding层是将输入的离散化的标识符（例如单词或类别）映射到一个连续向量空间的过程。这个映射过程是通过一个可学习的参数矩阵完成的，该矩阵的大小为[输入词汇表大小, 输出向量维度]。因此，每个输入标识符都会映射到一个具有相同向量维度的向量，这些向量是在训练过程中学习到的，而且在推理时也可以使用。Embedding层可以看做是一个字典查找表，将输入标识符转化为对应的向量表示。

举个例子，假设我们有一个句子“我 爱 机器 学习”，每个单词都有一个唯一的整数编码，比如“我”对应1，“爱”对应2，“机器”对应3，“学习”对应4。如果我们使用50维的向量表示单词，则我们可以将这个句子表示为一个形状为[4, 50]的张量，其中每一行代表一个单词的向量表示。