送入Transformer进行运算

Transformer是一种基于自注意力机制的深度学习模型，最初由Google在2017年提出的，主要用于处理序列数据，如文本和语音等。在输入到Transformer模型之前，数据通常需要经过预处理步骤：

1. **标记化（Tokenization）**：将文本分割成一个个可处理的单元，比如单词或子词（对于英文通常是wordpieces、BPE或char级别的tokens），并为每个单位分配一个唯一的ID。

2. **编码（Embedding）**：将这些标记化的tokens映射到一个连续的向量空间，这个过程通过嵌入层（Embedding Layer）完成，通常会包括词嵌入（Word Embeddings）、位置编码（Positional Encoding）等，为模型提供词汇信息和顺序信息。

3. **添加前缀（Padding/Truncation）**：为了保持输入序列长度的一致性，如果序列过长，可能会截断；如果过短，则可能会用填充符号（例如，<pad>）填充到最长长度。

4. **批次处理（Batching）**：多个样本合并成一个批次，以便利用GPU的并行计算能力提高训练速度。

将处理后的输入数据送入Transformer模型中，它通常会经历几个主要阶段：
- **多头自注意力（Multi-Head Attention）**：通过多个注意力头并行计算，捕捉不同粒度的依赖关系。
- **前馈神经网络（Feedforward Networks）**：对注意力结果进行线性变换和激活函数操作，进一步提取特征。
- **残差连接（Residual Connections）**：通过添加跳过连接，帮助信息直接传递，防止梯度消失或爆炸。
- **层间归一化（Layer Normalization）**：有助于每层的稳定训练。
- **堆叠多层（Stacking Layers）**：通过堆叠多层Transformer模块，模型逐渐学习更复杂的表示。

当所有这些操作完成后，输出的序列向量可以用于后续的任务，比如分类、生成或者问答等。