transform网络结构

Transformer网络结构完全由self-Attention和Feed Forward Neural Network组成。它由编码器和解码器两部分组成，每部分都有多个层。编码器和解码器都由多个相同的层堆叠而成，每一层都包含一个self-Attention子层和一个Feed Forward Neural Network子层。在每个self-Attention子层中，输入序列中的每个位置都会与其他位置进行注意力计算，以获取每个位置的上下文相关性。在Feed Forward Neural Network子层中，通过将输入序列映射到一个高维空间，然后再映射回原始维度，可以实现非线性变换。通过堆叠编码器和解码器层，Transformer可以捕捉输入序列中的长距离依赖关系，从而提升模型性能。