transformer 的编码器原理

Transformer的编码器是由一组N个编码器组成的，每个编码器都接收下方的数据并将其输出给上方的编码器。编码器的主要功能是从原始序列中提取特征。通过将N个编码器逐个叠加起来，最后一个编码器的输出将成为给定输入句子的特征值。这个特征值被传递给解码器，解码器将基于这个输入生成目标句子[^1]。

编码器的工作原理可以简要概括如下：
1. 输入嵌入（Input Embedding）：将输入序列中的每个单词转换为向量表示。
2. 位置编码（Positional Encoding）：为每个输入位置添加位置信息，以便模型能够理解单词在序列中的顺序。
3. 自注意力机制（Self-Attention）：通过计算每个单词与其他单词之间的相关性来捕捉输入序列中的上下文信息。
4. 前馈神经网络（Feed-Forward Neural Network）：对每个位置的特征进行非线性变换。
5. 残差连接（Residual Connection）和层归一化（Layer Normalization）：用于加强模型的训练和优化。
6. 重复以上步骤N次，以便逐渐提取更高级别的特征。

通过这样的编码器堆叠，Transformer能够有效地捕捉输入序列中的语义和上下文信息，为解码器生成目标句子提供有用的特征表示。