cnn、rnn、transformer的构建思想及优缺点

1. CNN(Convolutional Neural Network)：
- 构建思想：卷积神经网络主要用于图像和视频的处理。它采用卷积操作来提取图像中的特征，并通过池化层来减小图像的尺寸和参数数量，使得网络更容易训练和优化。
- 优点：对于图像等二维数据的处理效果很好，具有很强的特征提取能力和参数共享机制，减少了计算量和内存消耗，加快了训练速度。
- 缺点：对于长序列数据处理效果较差，无法考虑整体信息，容易出现信息丢失和模型过拟合。

2. RNN(Recurrent Neural Network)：
- 构建思想：循环神经网络主要用于序列数据的处理，例如自然语言处理中的文本数据。它通过将前一时刻的输出作为当前时刻的输入，从而建立长短时记忆，实现对序列的全局信息的处理。
- 优点：对于序列数据的处理效果很好，考虑了整体信息，能够捕捉到序列中的时间依赖关系。适合于语音识别、机器翻译等领域。
- 缺点：在处理长期依赖关系时，容易出现梯度消失和梯度爆炸的问题，导致模型难以训练。

3. Transformer：
- 构建思想：Transformer是一种基于自注意力机制的序列模型，被广泛运用于自然语言处理中，如机器翻译、文本生成等任务。它将序列中的每个元素都看作是相互独立的，通过注意力机制来获取序列中的全局信息。
- 优点：相比于RNN，Transformer能够并行计算，具有更好的计算效率和更长的序列依赖性，避免了长序列中的梯度消失和梯度爆炸问题，同时也避免了参数共享带来的信息丢失问题。
- 缺点：对于二维数据的处理效果相对较差，需要进行一定的维度变换。同时，由于Transformer的计算复杂度较高，需要更多的计算资源。