Transformer Networks

Transformer Networks是一种空间注意力模型，它可以通过学习对输入数据进行空间变换，从而增强网络的对图像变形、旋转等几何变换的鲁棒性。Transformer Networks可以在端到端的训练过程中自适应地学习变换参数，无需人为设置变换方式和参数。Transformer Networks的基本结构包括三个部分：定位网络（Localization Network）、网格生成器（Grid Generator）和采样器（Sampler）。定位网络通常由卷积层、全连接层和激活函数构成，用于学习输入数据的空间变换参数。网格生成器用于生成采样网格，采样器则根据采样网格对输入数据进行采样。整个Transformer Networks模块可以插入到任意位置，用于提高网络的对图像变形、旋转等几何变换的鲁棒性。