Transformer encoder几个层

Transformer Encoder 通常由多个相同的层（Layer）组成，每个层都是由两个子层构成，分别是自注意力子层（Self-Attention Layer）和前馈神经网络子层（Feedforward Layer）。一般来说，一个标准的 Transformer Encoder 包含 6 ~ 12 个相同的层，每个层的输出作为下一层的输入，最终输出的向量序列会传递给 Transformer Decoder 进行后续处理。

具体来说，每个 Transformer Encoder 层的计算流程如下：

1. 自注意力子层：对输入序列进行自注意力计算，得到新的特征向量序列。
2. 残差连接：将自注意力子层的输出与输入序列进行残差连接，得到加强的特征向量序列。
3. 层归一化：对加强的特征向量序列进行层归一化，使其更易于优化。
4. 前馈神经网络子层：对加强的特征向量序列进行前馈神经网络计算，得到新的特征向量序列。
5. 残差连接：将前馈神经网络子层的输出与加强的特征向量序列进行残差连接，得到加强的特征向量序列。
6. 层归一化：对加强的特征向量序列进行层归一化，使其更易于优化。

以上过程重复进行多次，直到所有层的计算都完成。最终的输出特征向量序列就是 Transformer Encoder 的最终输出。