class Transformer(nn.Module):中Embeddings层的作用是什么？

Embeddings层的作用是将输入的离散化的token（例如单词、字母或其他符号）转化为稠密的向量表示，称为embedding。这个过程是通过查找并返回预训练好的embedding值来完成的。这个过程可以捕捉到token之间的语义关系，使得模型能够更好地处理自然语言处理任务。在Transformer模型中，Embeddings层还包括对位置编码的处理，以捕捉输入序列的顺序信息。