视觉transformer综述

视觉Transformer综述是对视觉Transformer模型在计算机视觉任务中的应用进行综合分析和评估的论文。该综述将视觉Transformer模型按不同的任务进行分类，包括基本图像分类、高级视觉、低级视觉和视频处理。同时，该综述还回顾了计算机视觉中的自注意力机制，并介绍了一些将Transformer方法应用于实际任务的有效方法。此外，综述还讨论了视觉Transformer的进一步研究方向。[1]

另外，还有其他关于视觉Transformer的论文提到了一些相关的内容。其中一篇论文提到了下一波Transformer是局部范式，通过引入局部注意力机制或卷积将局部性引入Transformer。此外，自监督学习在视觉Transformer中也占据了一定的比例，但目前还不清楚哪些任务和结构对视觉Transformer的自监督学习更有利。[2]

另一篇论文回顾了100多个Transformer模型在各种视觉任务中的应用，包括分类、检测和分割。该论文提出了一种分类法来组织最近开发的Transformer方法，并在各种基准上评估了它们的性能。通过对这些方法的综合分析和比较，该论文总结了一些具有显著改进的方法，并讨论了视觉Transformer面临的三个基本问题，同时提出了一些未来有希望的研究方向。[3]

如果您对视觉Transformer综述感兴趣，可以下载包含上述论文的PDF进行详细阅读。