transformer基本构架实例

Transformer是一种基于自注意力机制的深度学习模型，最初由Google团队在2017年提出的BERT模型中广泛应用。其核心结构包括以下几个部分：

1. **编码器（Encoder）**：每个输入序列首先通过一系列嵌入层（包括词嵌入、位置嵌入等），将文本转换为密集向量表示。然后，这些向量会经过多层Transformer块，每一层包含两个主要组件：自注意力层（Self-Attention）和前馈神经网络（Feed-Forward Networks）。自注意力层允许模型在所有输入元素之间建立全局依赖。

2. **自注意力层**：它计算每个输入元素与整个序列之间的关联度，并生成一个新的表示，保留了序列中其他位置的相关信息。这通过三个关键矩阵完成：Q（查询）、K（键）和V（值），通过点积运算找出注意力权重。

3. **多头注意力（Multi-Head Attention）**：为了捕获不同抽象层次的信息，通常会并行地处理多次自注意力操作，每种操作关注输入的不同方面。

4. **残差连接（Residual Connections）**：在每个Transformer块之后，通常会添加残差连接，使得信息可以直接传递到下一层。

5. **归一化（Normalization）**：在整个模块中，归一化技术（如LayerNorm）用于稳定训练过程。

6. **点乘加法（Point-wise Feed-Forward Networks）**：在自注意力层之后，对每个输入元素进行线性变换和ReLU激活，然后再做一次线性变换。