transformer为何火’

Transformers是一种基于自注意力机制的神经网络模型，最初被用于自然语言处理领域，但后来也被应用于计算机视觉领域。相比于传统的卷积神经网络（CNN）和循环神经网络（RNN），Transformers具有以下优势：

1. 自注意力机制使得模型能够同时考虑输入序列中的所有位置，而不是像CNN和RNN一样只能考虑局部信息。
2. Transformers中的位置编码能够有效地处理序列中的位置信息，而CNN和RNN则需要额外的处理来处理位置信息。
3. Transformers中的多头注意力机制能够让模型同时关注不同的特征子空间，从而提高模型的表达能力。

因此，Transformers在自然语言处理和计算机视觉领域都取得了很好的效果，尤其是在计算机视觉领域，Transformers已经取代了传统的卷积神经网络成为了SOTA模型。