MViTv2：多尺度视觉变换器引领图像视频分类与检测新高度

MViTv2: 多尺度视觉变换器是一个创新的架构，旨在解决图像和视频分类以及对象检测等多个视觉识别任务中的挑战。它的核心在于提出了一种改进版的MViT，融合了分解的相对位置嵌入和残差池连接，这有助于提高模型的性能和效率。作者团队——来自Facebook AI Research和加州大学伯克利分校的研究者们，通过实现在ImageNet分类（达到88.8%的精度）、COCO对象检测（58.7%的AP框）和Kinetics-400视频分类（86.1%的准确率）上的优异表现，展示了MViT在处理不同分辨率和时间序列数据时的优势。 传统上，设计适用于多种视觉任务的架构是一项艰巨的任务，像ResNet和CNN这样的简单而有效的结构占据主导地位。然而，随着Transformer架构的兴起，ViT以其出色的性能挑战了这一现状。尽管ViT在图像分类方面表现出色，但在对象检测和视频理解等高分辨率和时空密集的任务中，其计算和内存需求成为瓶颈。为解决这个问题，MViT采取了两种策略：一是局部注意力计算，如在对象检测任务中，二是通过注意力集中和局部特征聚合来优化视频任务中的自注意力机制。 MViT的多尺度设计，通过在整个网络的不同层引入不同的感受野，能够捕捉到不同尺度的信息，从而在保持模型性能的同时降低了计算复杂度。这使得MViTv2能够在图像分类、目标检测和视频识别三个领域同时取得领先。值得注意的是，作者们强调了代码和模型的开源性，这不仅促进了研究交流，也鼓励了更多人在实际应用中探索和改进这一架构。 MViTv2架构的出现标志着在处理视觉任务时，Transformer架构的一种新进展，它通过改进的组件设计和多尺度策略，成功地提升了性能和效率，为图像和视频领域的研究带来了新的可能性。