vision transformer 高光谱

Vision Transformer是一种深度层次的架构，用于高光谱图像(HSI)和多光谱图像(MSI)的联合分类。它利用光谱序列Transformer来捕获光谱的长期依赖性，并利用空间层次Transformer从HSI和MSI中提取层次空间特征。同时，它还使用交叉注意力机制来自适应地融合多模态数据[1]。

Transformer最早被应用于机器翻译，其结构由编码器和解码器组成。它通过多头注意力机制解决了长距离依赖问题，能够捕捉任意位置之间的关系。在计算机视觉任务中，视觉Transformer框架在图像分类、对象检测、图像分割等任务上取得了显著的性能[2]。

在HSI和MSI融合中，局部信息和全局信息都很重要，因此Transformer更注重局部关系的卷积具有更大的潜力。然而，如何有效地进行HSI和MSI的交互融合一直是一个难点。为了解决这个问题，研究人员提出了一种新的HSI和MSI融合网络结构MCT-NET，它将CNN和Transformer与多层次跨模态交互模块(MCIM)和特征聚合重构模块(FARM)相结合，实现了融合图像的空间-光谱信息保留。此外，还提出了多层次交叉Transformer(MCT)，在传统Transformer的自注意机制中加入了交叉注意思想，实现了空间模态和谱模态的跨模态信息融合[3]。

因此，Vision Transformer在高光谱图像中的应用可以通过光谱序列Transformer和空间层次Transformer来捕捉光谱和空间特征，同时利用交叉注意力机制来融合多模态数据，从而提高分类性能。