transformer流程

Transformer是一种基于注意力机制的序列到序列模型，常用于自然语言处理任务。它的流程包括编码器和解码器两个部分。

编码器的流程如下：
1. 输入序列经过词嵌入层，将每个词转换为向量表示。
2. 添加位置编码，将词的位置信息融入向量表示。
3. 多层自注意力机制，通过计算注意力权重，让每个词能够关注到其他词的信息。
4. 前馈神经网络，对每个位置的向量进行非线性变换。
5. 重复2-4步骤，构造多层编码器。

解码器的流程如下：
1. 输入序列经过词嵌入层，将每个词转换为向量表示。
2. 添加位置编码，将词的位置信息融入向量表示。
3. 多层自注意力机制，通过计算注意力权重，让每个位置能够关注到输入序列和自身前面位置的信息。
4. 多层编码-解码注意力机制，让每个位置能够关注到输入序列和解码器前面位置的信息。
5. 前馈神经网络，对每个位置的向量进行非线性变换。
6. 重复2-5步骤，构造多层解码器。