Transformer块结构图
时间: 2023-11-14 07:58:44 浏览: 66
Transformer思维导图
Transformer模型的基本结构图如下所示:
```
Input
↓
Embeddings
↓
Positional Encoding
↓
Transformer Blocks
↓
Output
```
其中,Transformer由多个Transformer Blocks组成,每个Transformer Block由以下几个部分组成:
1. Self-Attention层(Self-Attention Layer)
2. 前馈神经网络层(Feed-Forward Neural Network Layer)
3. 残差连接(Residual Connections)
4. 层归一化(Layer Normalization)
在每个Transformer Block中,输入首先通过Self-Attention层进行自注意力计算,然后通过前馈神经网络层进行非线性转换。残差连接和层归一化被用于加速训练和提高模型的性能。
阅读全文