transformer的架构

Transformer架构由编码器和解码器两部分组成。编码器和解码器都由多个堆叠的注意力机制和前馈神经网络组成。编码器将输入序列转换为一系列隐藏状态，解码器则利用这些隐藏状态生成输出序列。

编码器的每个注意力机制都将当前位置的隐藏状态与所有输入位置的隐藏状态进行比较，以计算该位置的注意力分数。得分越高，该位置的隐藏状态对当前位置的输出的贡献就越大。这些注意力分数经过softmax函数进行归一化，并用它们对输入序列中的所有隐藏状态进行加权平均。这个加权平均向量成为编码器在该位置的输出。

解码器在每个位置生成输出时，也使用注意力机制来计算与编码器中的每个位置的注意力分数。但是，它还会使用另一个注意力机制来计算前一个位置的隐藏状态与编码器中的每个位置的注意力分数。这两个注意力分数的加权平均向量将作为解码器在该位置的输出。最终的输出序列是通过softmax函数将每个位置的输出向量转换为概率分布。