原始的 Transformer 有残差吗？

原始的 Transformer 模型确实使用了残差连接。这种连接是通过在每个子层之后添加一个残差路径来实现的，即将子层的输入与子层输出相加。这有助于提高模型的训练和优化能力，减轻梯度消失的问题，并使模型更容易学习长距离依赖关系。残差连接是 Transformer 模型中的关键组成部分，也是其成功的重要因素之一。