变形注意力Transformer：解决视觉任务中的注意力焦点问题

"这篇论文提出了一种名为变形注意力Transformer（DAT）的新模型，该模型针对传统Transformer模型在处理视觉任务时存在的问题进行了优化，特别是针对自我注意力机制的改进。DAT引入了可变形的自我注意力模块，允许在自我注意力中选择键和值的位置，以数据依赖的方式关注相关区域，增强特征捕获能力。这一创新方法旨在解决密集注意力带来的计算成本过高以及稀疏注意力限制长范围关系建模的问题。DAT模型在图像分类和密集预测任务中表现出了优秀的性能，并且已经在GitHub上开源其代码。" 文章首先介绍了Transformer模型在计算机视觉领域的广泛应用，特别是VisionTransformer（ViT）如何通过堆叠Transformer块来处理图像，形成大感受野以增强长期依赖性的建模。然而，ViT的全局密集注意力可能导致计算和内存负担过重，同时容易受到无关区域的影响。另一方面，像PVT和SwinTransformer等采用的稀疏注意力虽然降低了计算复杂度，但其数据不可知性可能限制了对长距离依赖的捕捉。 为了解决这些问题，论文提出了可变形的自我注意力模块（Deformable Self-Attention，DSA）。DSA允许根据输入数据动态地选择注意力机制中的关键点和值点，使得模型能够更专注于相关区域，从而提高特征提取的有效性。这种方法既避免了密集注意力的计算开销，又克服了稀疏注意力的局限性。 论文进一步详细阐述了DAT模型的设计，该模型将DSA集成到Transformer的结构中，形成一个适用于图像分类和密集预测的通用骨干网络。实验结果显示，DAT在一系列基准测试中取得了显著的性能提升，验证了其设计理念的有效性。代码已在https://github.com/LeapLabTHU/DAT上公开，供研究者参考和使用。 总结来说， DAT模型通过引入数据依赖的变形自我注意力，提供了一种平衡计算效率和长距离依赖建模能力的解决方案，对Transformer在计算机视觉任务中的应用进行了重要改进。