基于Transformer图像融合

基于Transformer的图像融合方法是CDDFuse: Correlation-Driven Dual-Branch Feature Decomposition，这种方法结合了CNN和Transformer。它将特征解耦的思想引入了图像融合，将跨模态信息分解为共有信息和特有信息，并采用两阶段训练法。在第一阶段，采用自监督方式进行训练，输入和输出都是源图像；在第二阶段，输入是分解后的特征，输出是融合后的图像。融合层使用了LT和INN块来实现base/detail特征的融合。解码器首先将分解的特征在通道维度拼接作为输入，在训练阶段I将源图像作为输出，在训练阶段II将融合图像作为输出。这种方法通过实验证明了其在高级视觉任务上的融合效果。<span class="em">1</span><span class="em">2</span><span class="em">3</span><span class="em">4</span>