Deformable Attention

Deformable Attention（可变形注意力）是一种处理输入数据条件下的空间位置的灵活机制。它最早在商汤研究院的《Deformable DETR: Deformable Transformers for End-to-End Object Detection》论文中被提出，并在后续的《Vision Transformer with Deformable Attention》中应用于通用视觉Transformer骨干网络DAT（Deformable Attention Transformer）。这一机制的效果在多个数据集上优于swin transformer。Deformable Attention通过为CNN骨干网顶部的每个查询选择少量键来提高DETR的收敛性。它还提供了一种简单而强大的设计，可以学习一组全局键，这些键在各种视觉任务中可以被共享，从而成为一种适用于不同视觉任务的通用主干。