Transformer network 是啥

Transformer网络是一种基于注意力机制（self-attention）的神经网络架构，最初被提出用于自然语言处理任务，如机器翻译、语言模型等。相较于传统的循环神经网络（RNN）和卷积神经网络（CNN），Transformer网络能够更好地捕捉长距离的依赖关系，而且可以并行计算，加速训练过程。

Transformer网络的主要组成部分是自注意力层（Self-Attention layer）和前馈神经网络层（Feedforward Neural Network layer）。自注意力层通过对输入序列中每个元素之间的关系进行注意力计算，从而得到每个元素在不同上下文中的表示。前馈神经网络层对每个元素的表示进行非线性变换，进一步提高模型的表达能力。Transformer网络还引入了残差连接和层归一化等技术来缓解梯度消失问题。