transformer 网络

Transformer是一种基于自注意力机制的神经网络，最初被提出用于自然语言处理任务，如机器翻译和语言建模。它的主要优点是能够处理变长序列数据，同时避免了循环神经网络中的梯度消失问题。

Transformer网络由编码器和解码器两部分组成，其中编码器将输入序列映射到一组隐藏表示，解码器则将这些隐藏表示转换为输出序列。在编码器和解码器中，每个层都由多头自注意力机制和前馈神经网络组成。

在自注意力机制中，每个输入元素都与其他元素进行交互，并计算出一个加权和作为该元素的新表示。这种交互是通过计算每对元素之间的相似度来实现的，然后将这些相似度作为权重应用于值向量上。

前馈神经网络则是一个简单的全连接层，它将每个隐藏表示映射到一个新的表示。这个映射是非线性的，因此可以捕捉到更复杂的模式。