transform编码器结构

Transform编码器是Transformer模型的核心组成部分，它是由维克托·奥尔瓦多·贡萨尔韦斯(Victor O. Goroshin)等在2017年提出的Self-Attention机制的基础上发展而来的。其基本结构包含以下几个关键部分：

1. **自注意力层（Self-Attention Layer）**：这是Transform编码器的核心，它通过计算每个位置的输入序列与其他所有位置之间的相似度，然后按照这个相似度权重对输入进行加权求和。这允许模型捕捉到序列中的全局上下文信息。

2. **位置编码（Positional Encoding）**：为了给Transformer提供序列顺序的信息，因为原始Self-Attention只关注内容，忽略了顺序，所以通常会添加位置编码，如Sinusoidal Positional Encoding，将位置信息嵌入到输入的向量中。

3. **残差连接（Residual Connections）**：这种结构有助于缓解梯度消失问题，并使得网络更容易训练。它让信息可以直接从输入流经到输出，减少了每一层都需要学习复杂的函数映射的需求。

4. **Layer Normalization（LN）**：每层前后都进行了层归一化，帮助稳定梯度并加速收敛。

5. **多头注意力(Multi-Head Attention)**：将注意力分成几个独立的“头”（heads），每个头专注于输入的不同方面，最后将结果合并，增加了模型的表达能力。

每个编码器层由多个这样的自注意力块组成，加上前馈神经网络(Feedforward Networks)用于进一步处理和整合信息。这些层交替执行，逐渐提取出输入序列的深层表示。