vision transformer位置编码

Vision Transformer在应用相对位置编码时需要考虑两个问题。首先，由于图像像素是稠密的，Vision Transformer的Token数量较大，导致二维相对位置的取值范围很广。为了减少位置编码带来的计算量和参数量，需要采取相应的策略。其次，在映射二维相对位置到特定相对位置编码时，需要考虑二维相对位置的方向性。

为了解决这些问题，研究人员提出了简单且轻量的二维相对位置编码方法。该方法在Vision Transformer模型中能够显式地建模任意两个Token的位置关系。通过该方法，不需要调整任何训练超参数，就能够显著提升图像分类和目标检测的性能。此外，研究人员还分析了影响二维相对位置编码性能的关键因素，并提供了一些指导性建议。