transformer模型的特点

Transformer模型的特点包括：
1. 抛弃了传统的CNN和RNN，整个网络结构完全是由Attention机制组成。
2. 自注意力机制可以在不同位置之间建立直接的联系，避免了传统RNN模型中需要按顺序处理的限制。
3. 多头注意力机制可以让模型同时关注输入序列的不同子空间，提高了模型的表达能力。
4. Transformer模型可以并行计算，加快了训练速度。
5. Transformer模型在NLP任务中取得了非常好的效果，并且在计算机视觉领域也有不少成功的应用。