TRANSFORMER残差连接

Transformer模型中的残差连接是一种技术，用于解决深层神经网络中的梯度消失和梯度爆炸问题。在Transformer中，每个子层都有一个残差连接，该连接将输入和输出相加起来。这样做可以使得信息更容易通过模型进行前向传播和反向传播。

具体而言，在每个子层的输入和输出之间进行残差连接，如下所示：
output = input + sublayer(output)

其中，input是子层的输入，sublayer(output)是子层的输出。残差连接允许信息在模型中直接传递，而不会受到子层操作的干扰。

这种残差连接的设计有助于避免梯度消失和梯度爆炸问题，使得Transformer模型能够更好地训练和优化。