传统transformer

传统的Transformer是一种基于自注意力机制的神经网络架构，用于处理序列到序列的任务，如机器翻译。它由编码器和解码器组成，每个部分都由多个层堆叠而成。

编码器的输入是一个源语言序列，通过多个自注意力层和前馈神经网络层来对输入序列进行编码。自注意力机制允许编码器在处理每个序列元素时同时考虑其他元素的上下文信息，从而捕捉长距离依赖关系。

解码器接收一个目标语言的输入序列和编码器的输出。在解码过程中，它通过多个自注意力层和编码器-解码器注意力层来生成目标语言的输出序列。编码器-解码器注意力层允许解码器在生成每个目标语言元素时对编码器的输出进行注意。

传统的Transformer模型具有以下特点：
1. 自注意力机制：通过自注意力机制，模型可以对输入序列中的不同位置进行关注，并捕捉到全局的上下文信息。
2. 多头注意力：使用多个注意力头来并行地关注不同的语义信息，从而增强模型的表达能力。
3. 位置编码：为了将顺序信息引入模型，位置编码被添加到输入序列中，以使模型能够理解序列中不同元素的位置关系。
4. 前馈神经网络：通过全连接的前馈神经网络来处理注意力层的输出，从而增强模型的非线性建模能力。