无卷积PVT：通用主干解决密集预测任务

本文主要探讨了无卷积稠密预测的金字塔视觉Transformer网络架构，即PyramidVisionTransformer (PVT)，这是一种创新的计算机视觉模型，针对传统的CNN（如VGG和ResNet）在密集预测任务（如对象检测 DET、实例分割 SEG 和图像分类 CLS）中的局限性进行了改进。相比于专门为图像分类设计的视觉Transformer (ViT)，PVT具有以下显著特点： 1. **多任务适应性**: PVT设计了一个通用的主干结构，能够适应多种视觉任务，不仅局限于图像分类，而是扩展了ViT的应用范围，使得它成为处理密集预测问题的理想选择。 2. **解决分辨率和计算效率问题**: PVT不同于ViT，后者通常输出低分辨率结果并导致较高的计算和存储需求。PVT通过在图像密集区域训练并采用渐进收缩金字塔结构，解决了这个问题，允许模型在保持高分辨率输出的同时降低计算复杂度。 3. **融合CNN和Transformer的优势**: PVT结合了CNN和Transformer的优点，既保留了卷积网络在局部特征捕获方面的优势，又利用了Transformer在全局信息处理上的能力。这使得PVT能够在不使用卷积的情况下，提供更好的性能和灵活性。 4. **与DETR的集成**: 文章提到，PVT可以与DETR（一种基于Transformer的对象检测方法）无缝整合，创建一个无卷积的端到端对象检测系统，进一步展示了其在实际应用中的潜力。 5. **实验验证**: 通过实验，研究者证明了PVT在性能上超越了现有的技术，并且作为CNN主干的替代方案，它在视觉任务中展现出了良好的表现。 总结来说，本文的主要贡献在于提出了一种新的视觉Transformer架构，即PVT，它通过改进的网络结构和设计，有效地应对了密集预测任务的需求，同时兼顾了计算效率和性能，为计算机视觉领域的研究提供了新的思考方向。