transformer加入残差

在Transformer中，残差连接是一种常用的技术，用于解决深层神经网络训练中的梯度消失和梯度爆炸问题。残差连接允许网络中的信息直接跳过一些层，并将前一层的输出与后一层的输入相加。这样可以保留原有的特征信息，使得网络更容易学习到有效的表示。

在Transformer中，每个子层（包括自注意力层和前馈全连接层）都采用了残差连接。具体而言，每个子层的输入被加上子层的输出，然后再进行层归一化和残差连接。这样可以保持输入和输出之间的信息流畅，避免信息的丢失。

通过添加残差连接，Transformer可以更好地处理深层网络的训练，提高了模型的性能和训练效果。