input embedding

Input embedding是将文字转换为嵌入向量的过程，它将字/词映射为预先定义好的词汇表中的向量表示。在Transformer模型中，输入分为两部分：input embedding和positional encoding。[3] Input embedding的大小通常为(max_len, embedding_dim)，其中max_len表示输入序列的最大长度，embedding_dim表示嵌入向量的维度。[3]

为什么在Transformer中使用相加而不是拼接的方式来处理位置编码呢？这是因为拼接会导致输入维度增加，而相加可以将位置信息混合到原始输入中，使得模型能够更好地学习到位置信息。[2] 通过将位置编码与输入嵌入向量相加，模型可以同时学习到词汇信息和位置信息，从而更好地捕捉序列的顺序信息。[3]

总结来说，input embedding是将文字转换为嵌入向量的过程，而位置编码是将顺序信息加入到输入嵌入向量中的过程。在Transformer中，位置编码与输入嵌入向量相加，以便模型能够同时学习到词汇信息和位置信息。