多尺度视觉变换器：融合多通道与层次结构的高效视觉识别

本文主要探讨了一种创新的多尺度视觉识别方法，即多尺度视觉变换器（MViT）。该模型结合了多尺度特征层次结构与变压器模型的特点，旨在通过逐层扩展通道容量并降低空间分辨率，形成一个多通道分辨率尺度级的视觉特征金字塔。这种设计灵感来源于计算机视觉领域对视觉皮层研究，特别是Hubel和Wiesel的工作，他们发现视觉处理层次结构中，随着层次的上升，空间分辨率下降，而通道（或特征）的数量逐渐增加，表现出从简单到复杂的特性。 MViT在设计上借鉴了Neocognitron和卷积神经网络的卷积结构，同时引入了Transformer模型的自注意力机制，允许模型在不同尺度间进行有效的信息交换。与传统的视觉变压器模型相比，MViT在处理视频和图像识别任务时，显示出更强的性能，即使不依赖大规模外部预训练也能达到较高的准确度。此外，通过阶段性的通道扩展和空间分辨率降低，MViT能够在保持模型效率的同时，捕捉到不同层次的视觉信息，包括早期层的低级视觉细节和深层的抽象特征。 在实验部分，作者展示了MViT在各种视频识别任务上的优势，如超越了那些需要大量预训练数据和计算资源的竞争对手，证明了其在效率和性能上的优越性。对于图像分类任务，MViT同样表现出色，优于先前的视觉变换器模型。为了便于研究者和开发者进一步探索和利用这一模型，作者提供了GitHub代码库，链接为：<https://github.com/facebookresearch/SlowFast>。 多尺度视觉变换器是一种高效、灵活的视觉模型，通过创新的架构设计，实现了对视觉信号的多层次、多尺度理解，为计算机视觉领域的图像和视频识别任务带来了新的可能。