动态交叉特征融合的遥感锐化

14687动态交叉特征融合的遥感锐化小武1，黄廷柱1 *，邓良建1 *，张天静21电子科技大学数学科学学院2电子科技大学英才荣誉学院邮编：611731wxwsx1997@gmail.com; tingzhuhuang@126.com;liangjian. uestc.edu.cn;zhangtianjinguestc@163.com摘要深度卷积神经网络已被用于全色锐化，并实现了最先进的性能。然而，现有的研究大多集中在单尺度特征融合上，这导致尽管网络足够深，但仍不能充分考虑高层语义和底层特征之间的信息关系。在本文中，我们提出了一个动态的交叉特征融合网络（DCFNet）的泛锐化。具体而言，DCFNet包含多个并行分支，包括用作主干的高分辨率分支，以及逐步补充到主干中的低分辨率分支。因此，我们的DCFNet可以很好地表示整体信息。为了增强分支间的关系，动态交叉特征转移被嵌入到多个分支中以获得高分辨率表示。然后学习上下文化的特征以提高信息的融合。实验结果表明，DCFNet显着优于现有技术的定量指标和视觉质量。1. 介绍全色锐化是遥感图像处理领域的一项关键技术，其目的是将低分辨率多光谱（LRMS）图像和高分辨率全色（PAN）图像融合，生成与MS图像具有相同光谱分辨率的最终高分辨率图像全色锐化的结果可以提供更好的视觉解释，另一方面，它有助于进一步处理，例如：、土地监测、矿产勘探和变化检测。处理锐化任务的要点[33]*通讯作者。PAN LRMSFusionNet DCFNet图1：原始分辨率WorldView-3数据集的视觉比较。第一行：原始PAN和上采样低分辨率MS（LRMS）图像。第二行：FusionNet[4]和DCFNet的泛锐化图像。11，19]能够恢复更多的空间细节，同时保留更完整的光谱信息。传统方法大致可分为三类[18，21，14]，即：、组分替代（CS）方法、多分辨率分析（MRA）方法、变分优化（VO）方法。最近，随着深度学习（DL）驱动的令人印象深刻的发展，现有的基于卷积神经网络（CNN）的泛锐化方法[4，6，27，28，29，30，32]这是由于CNN具有很强的非线性拟合能力，可以很好地描述LRMS图像、PAN图像和所需高分辨率多光谱（HRMS）图像之间的关系通过观察现有的基于CNN的方法，可以得出结论，PAN和LRMS图像被用作输入14688ˆ∈∈∈∈并且设计了许多不同的网络体系结构来执行融合处理。我们的直觉推理是，数据中的信息能否被充分利用和挖掘，与网络结构密切相关。近年来，出现了许多用于不同计算机视觉任务的先进网络。一个典型的例子是ResNet[9]，它设计了残差学习模块，并已成为一般计算机视觉问题中的基本特征提取模块。在[12]中，开发了一种特征金字塔网络（FPN），它可以有效地提取各种尺度的特征。 在此基础上，其增强的架构为我们提供了更多的特征融合和表征的可能性[12，8，17]。虽然深度卷积网络的有效性已经在计算机视觉任务中得到了证明，但在全色锐化方面，由于加深网络而导致的信息失真的缺陷现有的网络没有充分考虑低分辨率和高分辨率图像之间的跨尺度差距，协调主特征和辅助信息之间的关系。在本文中，我们提出了一种新的架构，泛锐化，即动 态 交 叉 特 征 融 合 网 络 （ DCFNet ） 。 所 提 出 的DCFNet包含三个并行分支，一个分支保持与PAN图像相同的分辨率，并作为主分支，其是无空间约简的。其余两个分支中的一个具有与MS图像相同的空间分辨率，并且另一个是MS图像的两倍。总体上，三个分支之间的信息是动态融合的。从低空间分辨率提取的特征逐渐注入到主枝中，保持高分辨率，同时补充由低分辨率分支物种提供的信息大量的实验表明，DCFNet可以产生可靠的结果。综上所述，本文的贡献归纳如下：1. 我们提出了一种新的架构命名为DCFNet，这是第一个跨规模的并行分支设计的泛锐化网络。利用高分辨率分支的信息保真能力，我们的模型可以进行无空间约简的融合。2. 我们设计了一个金字塔交叉特征过渡层，帮助多分辨率分支捕获分支间的特征。采用少参数的动态分支融合，使网络更加有效。因此，DCFNet在各种卫星传感器获得的广泛数据集上显着优于最先进的方法。3. 建议的DCFNet具有独特的结构。它有两个特殊的变体，即著名的U-Net和SegNet，这表明我们的网络也可以应用于更多的视觉任务。2. 记谱法及相关著作为了更好地解释，本文中使用的符号首先提出。2.1. 符号遥感卫星拍摄的LRMS和PAN图像分别记为MSRhw×c和PRHw期望的高分辨率多光谱（HRMS）图像被定义为MSRH×W×c，并且地面实况被表示为GTRH×W ×c，其中H=4h，W=4w。此外，我们还采用了一个23系数的多项式核的插值方法对MS∈ Rh×w×c进行上采样，得到2×和4×MS图像，定义为MS2×∈ R2h×2h×c和MS4×∈Rh×W×c。2.2. 相关作品基于CNN的方法。基于CNN的泛锐化的开创性工作是泛锐化神经网络（PNN）[13]，仅通过简单的三层CNN学习图像之间的映射关系在PNN之后，一个名为PanNet的值得注意的工作[28]提出了一种具有一定程度的物理可解释性的简单结构。更具体地，PAN和MS图像首先通过低通滤波器，并且其高频分量被获得作为网络的输入。通过卷积层学习光谱信息，并使用ResBlock中的快捷连接操作进行光谱保留。 后续工作，例如DMDNet[6]和FusionNet[4]进一步证明了残差学习模块是泛锐化的有效选择。然而，现有的工作没有充分考虑MS和PAN图像之间的空间分辨率的差异。最常见的策略是直接调整MS图像的大小以匹配PAN图像的空间分辨率，并且仅在高空间分辨率的单个尺度下执行卷积操作。这样的策略在上采样期间将导致光谱失真，并且不能充分利用已知的LRMS图像和PAN图像。动机对于泛锐化，上下文信息的补充有助于恢复更多的期望信息。然而，之前提到的泛锐化网络族仅采用单尺度特征融合来生成最终的HRMS，缺乏对特征表示的上下文指导。现有的特征金字塔网络（FPN）为我们提供了一个提取上下文信息的框架遗憾的是，由于FPN在特征提取过程中总是降低特征的空间分辨率14689−图2：所提出的DCFNet的流程图。因此，采用FPN进行锐化是不明智为了解决上述问题，我们提出了受HRNet[16]启发的DCFNet，其目的是从金字塔模块获得分支间特征融合，同时始终保持主分支中的高分辨率此外，我们还采用了动态融合策略来协调多尺度分支之间的信息融合，改善了信息补充中的冗余和冲突，使我们的网络能够达到令人满意的效果。3. 网络架构以将从其他分支传输的特征图与新的MS图像聚合，如图1所示。3.第三章。特别是，预融合有利于多模态信息的网络学习和初步的特征融合。如图2、选择了残差块和瓶颈块作为泛锐化的构造块，这在泛锐化中是有效的。每个分支的残差块的卷积核是相同的最后，残差块的堆叠被布置在预融合单元之后。因此，一个完整的阶段，使网络更深，以便它可以提取更好的功能。DCFNet的整体流水线如图所示。月2由三个并行分支组成：主高分辨率（HR）特征分支、中分辨率（MR）特征分支和低分辨率（LR）特征分支。这三个分支平行排列，并逐步组合形成三个卷积级。具体地，主要高分辨率特征分支从通过串联MS4×和P获得的特征图开始;中等分辨率特征分支从MS2×和高分辨率分支传递的特征图开始类似地，低分辨率特征分支将MS和由上述两个分支传递的特征图作为头部结构的输入。设计了金字塔交叉特征传递层，实现了不同尺度间特征信息和三分支通过所提出的动态分支融合（DBF）在每个阶段之间进行交叉融合。3.1. 预融合单元和构建块对于每个分支的MS图像输入，我们设计了预融合单元作为每个分支的头部结构图3：预融合装置的流程图。请注意，x表示中或低。XFi代表一 或从其它分支传送的更多特征图。对于中/低分辨率特征分支，Ni分别等于64/128P预融合单元1CMSMS损失融合前单元2MS预融合单元3GTMS瓶颈基本块ReLUConv（1×1）Conv（3×3）金字塔交叉特征转移C串联复发×3高分辨率要素分支中分辨率要素分支低分辨率要素分支PC-MS-FMS4x基本块6425664基本块-El信道内外信道瓶颈基本块转化率基本块基本块基本块ReLU基本块转换器（64）转换器ReLU瓶颈2248基本块瓶颈- 解析分支高分辨率分支14690上采样（Conv（3x3），步幅=1，填充=1）Conv（3x3），stride=1，padding=1Conv（3x3），步幅=2，填充=13.2. 金字塔交叉特征转移与以前的特征金字塔网络相比，所提出的特征过渡层简化了上采样过程，并将特征映射转移到不同尺度的分支，如图所示。4.第一章PCFT包括两个步骤：1）下采样并传输较高分辨率的特征图大小到相同的分辨率，然后相应地添加它们但考虑到不同分辨率对最终结果影响的不均匀性，不同分辨率的特征图在叠加前应进行加权处理。受[17]中提出的加权特征融合（WFF）的启发，我们采用以下加权方法：分辨率降低。2)上采样并将较低分辨率的特征图转换为较高分辨率。融合的形式是对应的加权相加O=我Jwi联系我们·11，（1）通过3x3 Conv.值得注意的是，上采样和下采样的操作由于略微提升而不是对称的。具体地，对于高分辨率分支特征到低分辨率分支特征的路径，首先将高分辨率特征转移到中分辨率特征，然后将中分辨率特征转移到低分辨率特征，这是一个渐进的过程。而从LR分支到HR分支的路径是直接实现的，没有中间过程。DCFNet始终保持高分辨率分支，这是空间减少免费。PCFT从高到低和低到高分支聚合特征图，并通过上述操作将跨尺度特征图传递回高分辨率分支，并且将高级语义信息馈送到高分辨率分支。PCFT使并行分支更容易捕获上下文信息。其中wi>0是动态学习的权重，其非负性由ReLU层保证值设置为0.0001以确保数值稳定性。3.4.多种构造变形在本节中，我们将致力于探索DCFNet结构的特殊性和可能性。DCFNet在传递特征图的过程中具有多种变换和连接路径。重点是它可以退化为两个众所周知的网络，即，（a）U-Net [15];（b）SegNet [3]。 为了直观起见，我们在图5中给出了它的退化形式。 在卷积网络的框架中，从深层提取的特征提供了整个图像中的上下文语义信息，而从浅层网络提取的特征提供了更精细的信息。无论是U-Net还是SegNet，它们都可以结合来自深层和浅层的信息。这两种结构都是DCFNet的变体。这也表明DCFNet在特征提取和融合方面具有优越的基础图4：金字塔交叉特征转移层的图，对应于图4的黄色部分二、图中的圆圈表示每个分支中的特征图，并且被颜色编码以区分特征图的分辨率。3.3.动态分支融合关于不同分辨率的特征的融合，HRNet[16]采用的方法是首先调整它们的分辨率。图5：DCFNet变形示意图。3.5.损失函数我们期望得到一个理想的HRMS图像接近GT图像，以实现良好的性能。以下实验（参见Sect. 4）证明了DCFNet结构的显著优点，尽管这里只选择了简单的(a)U-Net(b)SegNet××nk=1ΘDCF净额FDCFNet。nI={P，MS ，MS ，MS }均方误差（MSE）作为损失函数，损耗= 1Σn¨F。I{k}Σ−GT{k}¨2，（2）工作因此，在测试数据集上的比较（在第4.1）仅包括其他基于CNN的高级方法。我们计算平均和标准设备-测试数据集上的每个指标，并将它们显示在其中{k}{k}{k}{k}{k}，表示4×2×的输入，是训练样本，并且f·F是Frobenius范数。4. 实验在本节中，我们通过在WorldView-2（8波段）、WorldView- 3（8波段）、QuickBird（QB，4波段）和GaoFen-2（GF-2，4波段）获得的各种数据集上进行一系列实验，将DCFNet 1与其他最先进的泛锐化方法进行比较，从而衡量DCFNet14.1. 网络训练在这项工作中，我们主要进行实验的WorldView-3获得的数据。我们渲染8806组数据（大小：2562568）从公共网站上获取数据，并使用其中的70%/20%/10%作为训练/验证/测试数据集。然而，由于缺乏地面实况图像，我们需要遵循Wald具体数据生成步骤为：1）使用调制传递函数（MTF）用于原始PAN和MS图像的4x下采样; 2）将下采样的PAN图像和下采样的MS图像分别作为模拟PAN图像和MS图像; 3）将原始MS图像作为模拟GT图像。4.2. 基准和指标我们将所提出的DCFNet与包含传统方法（即，，使用具有23个系数的多项式核的MS图像插值（EXP）[1]，BDSD-PC[20]， GLP-HPM[2，24]、GLP-Reg [2，23]2、CVPR 19 [5]）和五种竞争性的基于CNN的方法（即、PNN [13]、PanNet [28]、DiCNN1 [10]、DMDNet [6]和FusionNet [4]）。评估计算四个指标的模拟（减少-选项卡. 1.一、显然，我们的方法在所有指标上的表现都远远超过了其他方法，这充分证明了DCFNet具有很强的学习能力。表1：在1258个降低分辨率的测试数据集（WorldView-3）上比较基于CNN的方法的定量度量。最佳结果以粗体显示。方法SAM（±标准）ERGAS（±标准）Q8（±标准）SCC（±标准）PNN[13]4.401± 1.3293.980± 1.3184.092± 1.2733.971± 1.2483.743± 1.2253.377± 1.2003.228± 1.0042.736± 1.0152.952± 0.9772.857± 0.9662.567± 0.9442.257± 0.9100.888± 0.1120.909± 0.1110.894± 0.1170.900± 0.1140.913± 0.1120.926± 0.1070.921± 0.0460.951± 0.0470.949± 0.0460.952± 0.0440.958± 0.0450.967± 0.043DiCNN1[10]PanNet[28]DMDNet[6]FusionNet[4]DCFNet理想值0011的黎波里数据集的评价 我们进一步对WorldView-3捕获的新数据进行了测试，其中记录了的黎波里的本地数据。在这个比较中，包含了基准测试中的所有定量评价结果见表1。2，其再次指示DCFNet的优越性。此外，考虑到现实世界的应用和观察，有必要比较视觉感知。因此，我们在图1中给出了以GT为参考图像的自然彩色图和绝对误差图。图6和图7分别。由于绝对误差图越暗，结果越接近GT图像，因此DCFNet明显优于其他表示方法。表2：的黎波里数据集（WorldView-3）的定量结果。最好的结果用黑体字表示。分辨率）实验，以及真实（全分辨率）的三个指标。14分辨率）实验。前者包括SAM[31]、ERGAS[25]、 SCC[34]、 Q4（用于4波段数据）或Q8(for 8波段数据）[7]。因此，后者包括QNR [22]、D λ和Ds [21]。4.3. 对低分辨率数据集基于CNN的方法的比较。通过基于CNN的方法获得的结果基于大数据集训练。传统的方法没有这个先验1我们的模型在Pytorch框架中实现。2http://openremotesensing.net/kb/codes/pansharpening/方法山姆厄加斯Q8SCC经验[1]6.78838.57190.72350.5129BDSD-PC[20]6.49856.71860.84750.7313GLP-HPM[2，24]6.81966.88810.83930.7350GLP-法规[2，23]6.41006.54630.85480.7394CVPR 19[5]6.23957.06690.81520.7321PNN[13]5.07783.96140.92140.9242DiCNN1[10]4.75523.49780.94440.9482PanNet[28]4.60793.42270.93950.9516DMDNet[6]4.42823.19720.94580.9613FusionNet[4]4.27643.05680.95220.9646DCFNet3.86662.82080.95940.9718理想值001114692(a) EXP（b）BDSD-PC（c）GLP-HPM（d）GLP-Reg（e）CVPR19（f）PNN(g) DiCNN1（h）PanNet（i）DMDNet（j）FusionNet（k）DCFNet（l）GT图6：在Tripoli数据集（WorldView-3）上的所有方法的自然颜色的视觉比较(a) EXP（b）BDSD-PC（c）GLP-HPM（d）GLP-Reg（e）CVPR19（f）PNN(g) DiCNN1（h）PanNet（i）DMDNet（j）FusionNet（k）DCFNet（l）GT图7：图7的绝对误差图。六、(a) EXP（b）PNN（c）DiCNN1（d）PanNet（e）DMDNet（f）Fusion-Net（g）DCFNet图8：Tripoli-OS数据集（WorldView-3）上最具代表性的6种方法在原始比例下的自然色视觉比较4.4. 全分辨率数据集为 了 证 明 DCFNet 的 应 用 价 值 ， 我 们 进 一 步 对WorldView获得的50组全分辨率数据进行了实验比较的基于CNN的方法3的定量结果示于表3中。3.第三章。更多-以上，我们展示了六个最具竞争力的方法的结果，一个例子，从50组数据（称为Tripoli-OS）在图。8.不难看出，无论是量化指标还是直观比较，DCFNet都是最好的。3请注意，传统的方法相对于基于CNN的方法来说比较差。因此，为了节省空间，我们排除传统的分析方法。此外，出于同样的原因，我们只显示了六种基于CNN的方法的结果。14693××××××××× × ××表3：50个全分辨率样品（WorldView-3）的QNR、D λ和Ds的平均值以及相关的标准偏差（std）。最好的结果用黑体字表示。方法QNR（±标准）Dλ（±标准）Ds（±标准差）PNN[13]0.946± 0.0220.939± 0.0240.948± 0.0170.945± 0.0200.941± 0.0220.956± 0.0130.023± 0.0140.026± 0.0160.029± 0.0110.024± 0.0120.024± 0.0130.022± 0.0090.032± 0.0120.035± 0.0110.022± 0.0090.030± 0.0130.031± 0.0130.022± 0.006DiCNN1[10]PanNet[28]DMDNet[6]FusionNet[4]DCFNet理想值1004.5. 对广泛的卫星数据进行为了进一步证明DCFNet的有效性，我们扩展了实验数据的类型，包括GF-2和QB传感器采集的数据（见第4节）。对于GF-2的情况，我们采用一个巨大的图像（大小：6907 7300 4）从开放网站4捕获北京市上空，以生成21607个训练数据（大小：64 64 4），以及在广州市上空获取的另一幅大图像，以模拟81个测试数据（大小：256 2564）.对于QB的情况，我们采用大图像（大小：4906 4906 4），以生成20685个训练数据（大小：64 644）和48个测试数据（大小：256 256 4）。从Tab. 4，以及图4中所示的视觉结果。如图9和图10所示，所提出的DCFNet可以在不丢失光谱信息的情况下重新覆盖更多的空间细节，并且其结果远远超过现有方法。这表明DCFNet也可以应用于4波段数据，其结果是令人满意的。4.6. 网络泛化为 了 证 明 网 络 的 泛 化 能 力 ， 我 们 将 一 个 在WorldView-3数据上训练的现成模型应用于WorldView-2获得的另一个数据集。对于一个合理的实验，我们实现了与WorldView3 相同的数据生成步骤（见第4.1节）。定量结果显示在表1中。五、 由于各分支间的光谱信息很难保持一致性，因此，通过比较的方法获得的SAM略好。总的来说，我们的网络产生了令人满意的结果，除了SAM之外，其他指标都是最好的。实验结果表明，DCFNet具有可靠的泛化能力。4.7. 消融研究我们通过以下方式消除了DCFNet的各种方法的黎波里数据集的样本PCFT（在4数据链接：http://www.rscloudmart.com/dataProduct/样本表4：GF-2测试数据集（81个样品）和QB测试数据集（48个样品）的比较的基于CNN的方法的定量度量。最好的结果用黑体字表示。方法SAM（±标准）ERGAS（±标准）Q8（±标准）SCC（±标准）广州（GF-2）PNN[13]1.659 ±0.3601.494 ±0.3811.395 ±0.3261.297 ±0.3151.179 ±0.2710.994± 0.1851.570 ±0.3241.320 ±0.3541.223 ±0.2821.128 ±0.2661.002 ±0.2270.811± 0.1440.927 ±0.0200.944 ±0.0210.946 ±0.0220.952 ±0.0210.962 ±0.0160.971± 0.0160.928 ±0.0200.945 ±0.0220.955 ±0.0120.964 ±0.0100.971 ±0.0070.982± 0.004DiCNN1[10]PanNet[28]DMDNet[6]FusionNet[4]DCFNet印第安纳波利斯数据集（QB）PNN[13]5.799 ±0.9475.307 ±0.9955.314 ±1.0175.119 ±0.9394.540 ±0.7784.342± 0.7195.571 ±0.4585.231 ±0.5415.162 ±0.6814.737 ±0.6484.050 ±0.2663.749± 0.2660.857 ±0.1480.882 ±0.1430.883 ±0.1390.890 ±0.1460.910 ±0.1360.920± 0.1290.902 ±0.0480.922 ±0.0500.929 ±0.0580.134 ±0.0650.954 ±0.0450.961± 0.046DiCNN1[10]PanNet[28]DMDNet[6]FusionNet[4]DCFNet理想值0011表5：斯德哥尔摩数据集（World-View 2）的定量结果。最好的结果用黑体字表示。方法山姆厄加斯Q8SCC经验[1]7.85009.67930.65400.4505BDSD-PC[20]7.09536.32330.88190.8578GLP-HPM[2，24]7.29886.99650.85270.8355CVPR 19[5]7.10986.54340.87520.8457GLP-法规[2，23]7.11956.49980.87760.8453PNN[13]6.86245.62590.86420.8539DiCNN1[10]6.81595.97730.88020.8797PanNet[28]6.39165.63020.88970.8895DMDNet[6]6.19865.56920.89030.8965FusionNet[4]6.27845.54990.89690.8897DCFNet6.68715.16820.91750.9125理想值0011第3.2节）在改善分支间融合中起重要作用。具体来说，我们安排PCFT模块进行跨尺度融合。在没有PCFT的情况下，分支间融合退化为低到高和高到低跨尺度特征的总和，然后当前分支通过Conv2D生成一个步长为2的新分支。此外，我们采用可学习的参数融合功能，调整分支的影响。使用动态分支融合，结果可以稍微改善，但是DBF（在第3.3节中提到）可以保持融合的一致性，其在分支之间渐进地补充。从Tab。6、DCFNet在SAM上有较好的结果，在ERGAS和SCC上稍好。14694(a) PNN（b）DiCNN1（c）PanNet（d）DMDNet（e）FusionNet（f）DCFNet（g）GT(h)PNN（i）DiCNN1（j）PanNet（k）DMDNet（l）FusionNet（m）DCFNet（n）GT图9：广州数据集上最具代表性的6种方法的自然色视觉比较（传感器：GF-2）。第一行：视觉结果;第二排：绝对误差图(a)PNN（b）DiCNN1（c）PanNet（d）DMDNet（e）FusionNet（f）DCFNet（g）GT(h)PNN（i）DiCNN1（j）PanNet（k）DMDNet（l）FusionNet（m）DCFNet（n）GT图10：印第安纳波利斯数据集（传感器：QB）上最具代表性的6种方法的自然色视觉比较。第一行：视觉结果;第二排：绝对误差图表6：在的黎波里数据集上具有/不具有一些融合操作的DCFNet的消融研究。方法山姆厄加斯Q8SCC不带DFB3.8932.8360.9710.959不带PCFT4.0012.8520.9720.959DCFNet3.8522.8250.9720.960理想值00115. 结论在本文中，我们提出了一种新的网络称为DCFNet的泛锐化。DCFNet由三个并行分支组成，其中主分支维护一个端到高分辨率表示结束，其余两个分支继续向主分支注入特征图，并采用设计的预融合单元和金字塔交叉转移来平衡空间缩减和光谱重新覆盖。在各种数据集上的大量实验验证了DCFNet与其他先进方法相比具有显着的优越性结果和可靠的泛化能力6. 确认本 工 作 得 到 国 家 自 然 科 学 基 金 （ 61772003 ，61702083）、四川省应用基础研究重点项目（批准号：2020YJ0216）和国家重点研究发展计划（批准号：2020YFA0714001）。14695引用[1] Bruno Aiazzi，Luciano Alparone，Stefano Baronti，andAn- drea Garzelli.基于过采样多分辨率分析的高空间分辨 率 和 光 谱 分 辨 率 图 像 上 下 文 驱 动 融 合 IEEETransactions on Geoscience and Remote Sensing ， 40（10）：2300[2] 布鲁诺·艾亚齐湖阿尔帕隆，斯特凡诺·巴龙蒂，安德烈·加泽利，马西莫·塞尔瓦。高分辨率ms和pan图像的mtf定制多尺度摄影测量工程与遥感，72（5）：591[3] Vijay Badrinarayanan Alex Kendall 和 Roberto CipollaSegnet：用于图像分割的深度卷积编码器-解码器架构。IEEE Transactions on Pattern Anal-ysis and MachineIntelligence，39（12）：2481[4] Liang-Jian Deng ， Gemine Vivone ， Cheng Jin ， andJocelyn Chanussot.用于泛锐化的基于细节注入的深度卷积 神 经 网 络 。 IEEE Trans-actions on Geoscience andRemoteSensing，2020，DOI：10.1109/TGRS.2020.3031366。[5] 付学阳，林子煌，黄越，黄越。具有局部梯度约束的变分泛锐化。在IEEE/CVF计算机视觉和模式识别会议上，第10257-10266页[6] Xueyang Fu，Wu Wang，Yue Huang，Xinghao Ding，and John Paisley.用于多波段光谱图像锐化的深度多尺度细 节 网 络 IEEE Transactions on Neural Networks andLearning Systems，PP（99）：1[7] 安德里亚·加泽利和菲利普·南西尼。多/高光谱图像的超复 杂 质 量 评 估 IEEE Geoscience and Remote SensingLetters，6（4）：662[8] Golnaz Ghiasi，Tsung-Yi Lin，Ruoming Pang，and QuocV.乐Nas-fpn：学习用于对象检测的可扩展特征金字塔架构。IEEE/CVF计算机视觉和模式识别，2019年。[9] Kaiming He，Xiangyu Zhang，Shaoying Ren，and JianSun.用于图像识别的深度残差学习。IEEE计算机视觉和模式识别会议，第770[10] 林贺，饶一舟，李军，J. Chanussot、Antonio Plaza、Jiawei Zhu和Bo Li。通过基于细节注入的卷积神经网络进行泛锐化。IEEE Journal of Selected Topics in AppliedEarth Observations and Remote Sensing，12：1188[11] 郭维红，毛罗·达拉·穆拉，乔斯林·查努索，邓亮剑，杰米娜·维沃内.基于可再生核Hilbert空间和Heaviside函数的变分泛锐化IEEE Transactions on Image Processing，27（9）：4330[12] 林宗义，彼得·多尔，罗斯·格希克，何开明，巴拉斯·哈里哈兰，罗斯·格希克.用于目标检测的特征金字塔IEEE计算机视觉和模式识别会议，第936-944页[13] Giuseppe Masi 、 Davide Cozzolino 、 Luisa Verdoliva 和Giuseppe Scarpa。卷积神经网络的泛锐化。遥感，8（7）：594，2016.[14] Xiangchao Meng ， Huanfeng Shen ， Huifang Li ，Liangpei Zhang，and Randi Fu.关于pansharpening meth的评论基于Meta分析思想的遥感图像ODS：实际讨论和挑战。信息融合，46：102[15] Olaf Ronneberger，Philipp Fischer，and Thomas Brox.U-网：用于生物医学图像分割的卷积网络2015年医学图像计算和计算机辅助干预[16] Ke Sun，Bin Xiao，Dong Liu，and Jingdong Wang.用于人体姿势估计的深度高分辨率表示学习。IEEE/CVF计算机视觉和模式识别会议，2019年。[17] Mingxing Tan，Ruoming Pang，and Quoc V.乐Efficient-det：可扩展且高效的对象检测。IEEE/CVF计算机视觉和模式识别会议，第10778[18] Claire Thomas ， Thierry Ranchin ， Lucien Wald ， andJocelyn Chanussot.高空间分辨率多光谱图像的合成：基于遥感物理的融合方法评述。IEEE Transactions onGeoscience and Remote Sensing，46（5）：1301[19] 邓良建，赵喜乐，黄杰，徐廷，黄廷柱。基于单向全变分tucker分解的高光谱图像超分辨率IEEE Journal ofSelected Topics in Applied Earth Observations and RemoteSensing，13：4381[20] Gemine Vivone用于全色锐化的稳健的带相关空间细节方 法 。 IEEE Transactions on Geoscience and RemoteSensing，57：6421[21] GemineVivone，LucianoAlparone，JocelynChanussot ， Mauro Dalla Mura ， Andrea Garzelli ，Giorgio A. Licciardi，Rocco Restaino，and Lucien Wald.泛锐化算法之间的关键比较。IEEE Transactions onGeoscience and Remote Sensing，53（5）：2565[22] GemineVivone，LucianoAlparone，JocelynChanussot ， Mauro Dalla Mura ， Andrea Garzelli ，Giorgio A. Licciardi，Rocco Restaino，and Lucien Wald.泛锐化算法之间的关键比较。IEEE Transactions onGeoscience and Remote Sensing，53（5）：2565[23] 杰米恩·维沃内，罗科·雷斯泰诺，乔斯林·查努斯.全色锐化的基于全尺度回归的注入系数。IEEE Transactionson Image Processing，27：3418[24] Gemine Vivone，Rocco Restaino，Mauro Dalla Mura，Gior- gio Licciardi，and Jocelyn Chanussot.基于对比度和误差的多光谱图像全色锐化融合方法。IEEE Geoscienceand Remote Sensing Letters，11（5）：930[25] 卢西恩·瓦尔德数据融合：定义和体系结构：不同空间分辨率的图像的融合。Presses des Mines，2002.[26] Lucien Wald，Thierry Ranchin，and Marc Mangolini.不同空间分辨率卫星图像的融合：评估所得图像的质量。摄影测量工程与遥感，63：691[27] 魏彦聪，袁强强，沈焕峰，张良培.通过学习深度残差网络提高多光谱图像泛锐化的精度。IEEE14696Geoscience and Remote Sensing Letters，14（10）：1795[28] Junfeng Yang，Xueyang Fu，Yuwen Hu，Yue Huang，Xinghao Ding，and John Paisley.Pannet：一种用于泛锐化的深度网络在IEEE计算机视觉国际会议上，第1753-1761页[29] 袁强强，魏彦聪，孟祥超，沈焕峰，张良培.多尺度多深度卷积神经网络用于遥感图像泛锐化。IEEE Journalof Selected Topics in Ap- PLied Earth Observations andRemote Sensing，11（3）：978[30] 袁强强，魏彦聪，孟祥超，沈焕峰，张良培.多尺度多深度卷积神经网络用于遥感图像泛锐化。IEEE Journalof Selected Topics in Ap- PLied Earth Observations andRemote Sensing，11（3）：978[31] 罗伯塔·H亚历山大·尤哈斯H. Goetz和Joe W. Boardman使用光谱角制图仪（SAM）算法在半干旱景观端元之间进行鉴别。喷气推进实验室机载地球科学讨论会AVIRIS研讨会：Pasadena，CA，USA，第147-149页，1992。[32] Yongjun Zhang，Chi Liu，Mingui Sun，and Yangjun Ou.使用 高效 的双向 金字 塔网络 进行 全色锐 化。 IEEETransactions on Geoence and Remote Sensing ， 57（8）：5549[33] 邓良健，杰明·维沃内，苗嘉庆，胡金凡，赵喜乐，吴忠成，黄廷柱一种新的基于近端深度注入和梯度强度相似的变分方法用于空间-光谱图像融合。IEEE Journal ofSelected Topics in Applied Earth Observations and RemoteSensing，13：6