一个标准transformer

Transformer是一种基于自注意力机制的深度学习模型，由Google在2017年的论文《Attention is All You Need》中首次提出，主要用于自然语言处理任务，如机器翻译和文本分类。它彻底改变了序列到序列的学习方式，特别是在处理长距离依赖上，相比于传统的循环神经网络(RNN)有显著优势。

Transformer模型的核心组成部分包括以下几个部分：
1. **编码器**（Encoder）：接受输入序列并生成一系列隐藏状态，每个位置都与整个输入序列都有关联，通过多层自注意力块（Self-Attention Blocks）捕捉全局上下文信息。
2. **解码器**（Decoder）：在编码器的基础上，逐步生成输出序列，同样包含自注意力块，但还有前向（Lookahead）自注意力和源点自注意力（Source-Target Attention），用于结合自身生成的历史信息和输入序列的内容。
3. **多头注意力**（Multi-Head Attention）：将注意力分为多个独立的头部同时进行，可以捕获不同方面的上下文信息。
4. **残差连接**（Residual Connections）和**层归一化**（Layer Normalization）：帮助梯度流动，并提高训练稳定性。