Transformer缺少CNNs的归纳偏差，比如平移不变性和局部受限感受野。

Transformer架构确实不同于传统的卷积神经网络（Convolutional Neural Networks, CNNs），它主要依赖于自注意力机制来处理序列数据，而非通过局部窗口或固定滤波器捕捉局部特征。这使得Transformer在某些方面表现出归纳偏差，特别是：

1. **平移不变性**[^4]: CNNs通过共享权重和滑动窗口来捕获空间上的平移不变性，而Transformer没有内置这种特性。这意味着Transformer对于位置信息敏感，对于输入序列的顺序变化，其输出可能会改变。

2. **局部受限感受野**[^5]: CNNs的每个滤波器只关注输入的一小部分，形成局部感受野，有助于提取局部特征。相比之下，Transformer的注意力机制是全局的，它可以同时考虑整个输入序列，没有明确的局部限制。

然而，这种缺乏局部特征处理能力也使得Transformer在某些场景下效率较低，尤其是在需要处理图像等数据时。为了解决这些问题，一些变种模型如ViT (Vision Transformer) 和 ConvNet-Transformer 结合了CNN和Transformer的特点，试图结合两者的优点。