transformer架构图

下面是Transformer的经典架构图：


它主要由编码器和解码器两个部分组成，其中编码器和解码器都由多个相同的层堆叠而成。每一层中都包含了多头自注意力机制和前馈神经网络这两个子层。注意力机制用于捕捉输入序列中各个位置之间的依赖关系，而前馈神经网络则用于引入非线性变换，增强模型的表达能力。同时，为了防止模型过拟合，每个子层中还应用了残差连接和层归一化技术。