transformer中的encoder

Transformer中的encoder是由多个相同结构的层组成的，每个层都包含两个子层：多头自注意力机制和全连接前馈网络。在每个子层中都会进行残差连接和层归一化操作，以保证信息的有效传递和模型的稳定性。在多头自注意力机制子层中，每个词都会与其他词进行相似度计算，最终得到每个词的上下文表示；在全连接前馈网络子层中，每个词的上下文表示会被送入一个全连接网络中进行非线性变换。通过多个相同结构的层堆叠，encoder可以更好地捕捉输入序列的信息，并生成相应的编码表示，以供decoder进行下一步的生成。