Mask2Former：统一架构解决图像分割任务

"MaskFormer V1 V2论文分享PPT" 在计算机视觉领域，图像分割是一项重要的技术，它涉及将图像中的像素按照不同的语义类别进行分组。传统的语义分割通常采用“逐像素分类”的方法，即将每个像素视为一个独立的分类单元，通过网络预测每个像素所属的类别。然而，这种方法对于实例分割任务并不理想，因为实例分割不仅要区分类别，还需要识别不同的对象实例。此外，逐像素分类模型在处理同时包含实例和语义信息的像素时，需要大量的类别数，导致模型复杂度增加。 MaskFormer提出了一个新的视角，即“mask分类”，它不再局限于逐像素分类，而是预测一组与特定类别的二进制掩码。这种方法的优势在于它可以同时解决语义分割、实例分割和全景分割等任务，而不必为每个任务设计特定的架构。Mask2Former，作为MaskFormer的改进版，引入了Mask-attention机制，通过在掩模区域内限制交叉注意力来提取局部特征，从而提高模型的性能。 Mask2Former由三个主要模块组成：像素级模块、Transformer模块和分割模块。像素级模块负责从输入图像中提取逐像素嵌入，通过上采样过程逐步恢复高分辨率特征。Transformer模块则采用标准的Transformer解码器，结合图像特征和位置嵌入来计算输出。最后，分割模块在Transformer的输出上应用线性分类器，生成每个像素的类概率预测，再通过多层感知机（MLP）转换成掩码嵌入，与像素嵌入进行点积运算，得出每个像素的二进制掩码预测。 实验结果显示，Mask2Former在四个流行的数据集上表现卓越，包括COCO上的全景分割（57.8 PQ）、实例分割（50.1 AP）和ADE20K上的语义分割（57.7 mIoU），均设定了新的 state-of-the-art 成绩。这表明，mask分类模型不仅在实例分割和语义分割上都能达到优秀效果，而且在参数数量和计算效率方面也优于传统的逐像素分类模型。 Mask2Former通过mask分类的创新方法，提供了一个通用而高效的框架，能够在多种图像分割任务中表现出色，减少了研究者们为不同任务开发特定模型的工作负担，为未来图像分割技术的发展开辟了新的道路。