transformer最新综述

最新的综述显示，Transformer在计算机视觉领域有广泛的应用。其中，局部范式的Transformer通过引入局部注意力机制或卷积来引入局部性。监督式Transformer正在探索结构组合和缩放定律。自监督学习在视觉Transformer中也占据了重要的位置，但目前还不清楚哪些任务和结构对自监督Transformer更有利。在分割任务中，Transformer有两种常见的应用方式：基于patch的Transformer和基于查询的Transformer。基于patch的Transformer可以进一步分解为带有目标查询的Transformer和带有掩码嵌入的Transformer。在视觉Transformer的发展过程中，一个常见的问题是Transformer是否可以取代卷积。然而，通过回顾过去一年的改善历史，目前还没有发现Transformer性能不足的迹象。视觉Transformer已经从一个纯粹的结构回归到一个混合的形式，将全局信息逐渐与局部信息混合。虽然Transformer可以等价于卷积，甚至具有更好的建模能力，但简单有效的卷积运算已足以处理底层的局部性和低级语义特征。未来，结合Transformer和卷积的思想将推动图像分类领域的更多突破。在目标检测中，Transformer也有应用。[1][2][3]