transformer的原理和基本特点

Transformer 是一种基于自注意力机制的神经网络模型，它可以用于自然语言处理、语音识别等领域。Transformer 的基本特点是使用了多头注意力机制，可以并行计算，同时避免了 RNN 和 CNN 的局限性。它还使用了残差连接和层归一化等技术，使得模型更加稳定和易于训练。