transformer模型的编码器解码器结构

Transformer模型是一种基于自注意力机制的深度学习架构，最初由Google在2017年提出的BERT模型中引入，并广泛用于自然语言处理任务，如机器翻译和文本生成。它主要由两个部分组成：编码器（Encoder）和解码器（Decoder）。

**编码器（Encoder）**：负责处理输入序列，将每个输入单词或字符转换成一系列密集向量表示，同时捕捉到整个输入序列的上下文信息。每个位置的输入通过一系列多层自注意力块（Self-Attention Blocks）处理，这些块包括点式乘法（dot-product attention）、加权求和以及前馈神经网络（Feedforward Networks）。编码器的输出通常被称为“键”、“值”和“查询”，它们会被用于计算与目标词语的相关度。

**解码器（Decoder）**：主要用于生成输出序列。它同样有多个自注意力层，但在处理当前位置的词时，会结合来自编码器的信息（称为“源”隐状态），并通过掩码（Masking）机制避免看到未来的输入。此外，解码器还有一个多头的前馈连接到前一阶段的输出，这个过程被称为“前向循环连接”（Lookahead Connections），以辅助预测。