transformer图

Transformer是一种深度学习模型，最初由Google在2017年的论文《Attention is All You Need》中提出，主要用于自然语言处理任务，尤其是机器翻译。它的核心思想是自注意力机制（Self-Attention），即每个输入元素都可以同时与其他所有元素交互，提取全局上下文信息，而不仅仅是依赖于固定长度的局部窗口。

Transformer模型包括几个关键组件：
1. **编码器（Encoder）**：它包含多层自注意力块（Multi-head Attention）和前馈神经网络（Feedforward Network），用于对输入序列进行编码，并捕获长距离依赖。
2. **解码器（Decoder）**：类似编码器，但在每一层中有一个额外的自注意力块，称为“自掩码”注意力（Masked Self-Attention），以防止模型看到未来的输入信息。
3. **位置编码（Positional Encoding）**：为了保留序列的顺序信息，添加到输入向量中。

Transformer由于其并行计算的优势和强大的序列建模能力，很快成为了NLP领域的标准模型，也启发了图像处理领域的发展，如视觉Transformer（ViT）将自注意力机制应用到了计算机视觉任务上，分割成固定的patches对图片进行编码。