MaxViT：融合卷积的高效可扩展视觉Transformer

“MaxViT：高效的可扩展注意力模型与混合卷积的视觉骨干” MaxViT是一种创新的视觉Transformer模型，旨在克服Transformer在计算机视觉应用中的局限性，特别是其对图像大小的可扩展性问题。该模型的核心在于其提出的多轴注意力模型，它结合了阻塞的局部注意力和扩张的全局注意力机制。这种设计使得模型能在任意输入分辨率上实现全局-局部空间交互，并且保持线性复杂度，提高了效率。 局部注意力机制专注于图像的局部区域，有助于捕捉细节和局部特征，而全局注意力机制则允许模型理解整个图像的上下文信息。通过这两种注意力机制的混合，MaxViT能够在早期高分辨率阶段就具备全局视野，这对于图像理解和复杂场景的处理至关重要。 为了进一步提升模型的性能，MaxViT引入了一个新的架构元素，即混合了提出的注意力模型与传统的卷积操作。这种混合策略不仅保留了Transformer的优势，如长距离依赖的学习能力，同时也利用了卷积的平移等变性和参数效率。由此构建的分层视觉骨干网络，即MaxViT，展现出强大的泛化能力和适应性。 实验结果显示，MaxViT在图像分类任务上表现出色。在ImageNet-1K数据集上未经额外数据预训练时，它可以达到86.5%的top-1准确率；而在ImageNet-21K预训练后，这个准确率提高到88.7%。此外，MaxViT在目标检测和视觉美学评估等下游任务中也展现出良好的性能，证明了其作为通用视觉模块的潜力。 MaxViT的另一个亮点是其在ImageNet上的强大生成建模能力，这表明模型能够学习到丰富的视觉表示。这一特性使得MaxViT适用于更广泛的计算机视觉任务。研究人员已经开源了MaxViT的源代码和训练模型，可在指定链接（此处应为实际链接，但示例中未提供）获取，促进社区对模型的进一步研究和应用。 关键词：Transformer，图像分类，多轴注意，卷积神经网络，目标检测，视觉美学评估。