Transformer 编码器

您的问题是关于 Transformer 模型的编码器部分。Transformer 模型是一种基于自注意力机制的神经网络模型，由编码器和解码器两部分组成。编码器主要负责将输入序列转换为一系列特征表示，解码器则将这些特征表示转换为输出序列。在编码器中，每个输入词汇都会被转换为一个向量表示，并且这些向量表示会随着模型的层数逐渐被加工和更新，最终形成一个全局的上下文表示。

具体来说，Transformer 编码器由多个相同的层组成，每个层都包含两个子层：多头自注意力机制和前馈神经网络。在多头自注意力机制中，模型会对输入序列中的每个词汇进行自注意力计算，以获取该词汇在上下文中的重要性权重，并将这些权重作为该词汇向量表示的加权和。在前馈神经网络中，模型会对每个词汇向量进行非线性变换和映射，以进一步提取特征信息。

总体来说，Transformer 编码器通过多层自注意力机制和前馈神经网络的组合，实现了对输入序列的全局建模和特征提取，从而为后续的解码器提供了更加丰富和准确的上下文信息。