transformer模型的优缺点

引用[2]中提到，Transformer模型改进了RNN训练慢的缺点，并利用self-attention机制实现了快速的并行运算。同时，最早的Transformer是用于翻译任务的。而引用[3]中总结了Transformer的优缺点。Transformer的优点包括：1. 自注意力机制能够捕捉输入序列中的长距离依赖关系；2. 并行计算能够加速训练过程；3. 位置编码能够表示序列的顺序信息；4. Add&Normalize操作能够帮助减轻梯度消失问题；5. 全连接层Feed Forward能够增强模型的表达能力。而Transformer的缺点则没有在引用中提到。