基于Transformer的高光谱图像分类新网络：融合卷积与序列特征

本文档主要探讨了"Hyperpectral Image Transformer (HiT) Classification Networks"，发表在2022年的IEEE Transactions on Geoscience and Remote Sensing上。作者Xiaofei Yang、Weijia Cao、Yao Lu和Yicong Zhou（IEEE高级会员）针对高光谱图像（Hyperspectral Image, HSI）分类任务提出了一个创新的深度学习方法。传统的卷积神经网络（Convolutional Neural Networks, CNNs）在HSI分类中表现出色，但它们在处理连续的光谱特征序列方面存在局限性，这限制了进一步性能提升。 文章的关键贡献是提出了一种将卷积操作融入到transformer架构中的新型分类网络——HiT。HiT旨在捕捉光谱特征中的细微差异，并结合局部空间上下文信息，以克服传统CNNs在处理光谱序列时的不足。HiT由两个核心模块构成： 1. **Spectral-Adaptive 3-D Convolution Projection Module**：这个模块是HiT的核心部分，它利用自适应3D卷积技术来动态调整滤波器以适应不同的光谱特征，从而增强对光谱细微变化的敏感度。这种方法允许模型根据输入数据的特性进行优化，提高对复杂光谱模式的识别能力。 2. **Convolution Permutator (ConV-Permutator)**：这是一个独特的设计，旨在通过重新排列光谱通道与空间位置的关系，促进跨通道信息的交互。ConV-Permutator有助于提取空间和光谱特征之间的依赖性，使得模型能够更好地理解不同波段间的相互作用，这对于HSI的全局理解和分类至关重要。 通过融合这两种模块，HiT能够更有效地整合光谱和空间信息，从而在高光谱图像分类任务中展现出优于传统CNN的性能。这项研究不仅提升了高光谱图像处理领域的技术水平，还展示了如何巧妙地结合传统卷积和自注意力机制来解决特定领域的问题。这对于地球观测、遥感科学以及环保、农业等多个应用领域具有重要的实际意义。