transformer encoder

Transformer Encoder 是一种基于自注意力机制（self-attention mechanism）的神经网络结构，用于处理序列数据，如自然语言。它由多个相同的编码器层（encoder layer）堆叠而成，每层包括多头自注意力层（multi-head self-attention layer）和前馈神经网络层（feedforward neural network layer）。
在自注意力层中，每个词向量与自身和其它词向量之间进行注意力计算，以捕捉不同词之间的关系。在前馈神经网络层中，每个词向量经过两个全连接层，以增强表示的表达能力。整个编码器层的输出是每个词向量在上下文中的新表示，可以用于下游任务，如语言建模、机器翻译、文本分类等。Transformer Encoder 的优点是能够并行计算，处理长序列效果好，且解决了循环神经网络中梯度消失和梯度爆炸的问题。