图像泛锐化的深度梯度投影网络

1366用于泛锐化的深度梯度投影网络西安交通大学数学与统计学院，西安交通大学{shuangxu，zixiangzhao，}@ stu.xjtu.edu.cn，{jszhang，kaisun，junminliu，cxzhang}@mail.xjtu.edu.cn摘要全色锐化是遥感成像系统获得高分辨率多光谱图像的重要技术。最近，深度学习已经成为最受欢迎的泛锐化工具。本文提出了一种基于模型的深度泛锐化方法。具体地说，两个优化问题的深度先验正则化，他们分别负责全色图像和低分辨率多光谱图像的生成模型然后用梯度投影算法求解这两个问题，并将迭代步骤推广到两个网络块中。通过交替堆叠两个块，一种新的网络，称为基于梯度投影泛锐化神经网络，构造。在不同类型的卫星数据集上的实验结果表明，新的网络在视觉上和定量上都优于现有的方法代码可以在https：//github上找到。com/xsxjtu/GPPNN。1. 介绍多光谱图像存储对应于光谱中的每个波段（或者说通道）的多个图像，并且它们在遥感文献中被广泛使用。由于成像设备的限制，卫星通常测量低空间分辨率多光谱（LRMS）图像[4，21，29]。与多光谱图像相比，全色（PAN）图像的特点是空间分辨率高，但只有一个波段。许多卫星同时携带多光谱和全色传感器来同时测量互补图像，如Landsat 8，GaoFen 2和QuickBird。为了获得高分辨率的多光谱（HRMS）图像，一个很有前途的方法是融合LRMS图像和PAN图像的互补信息。这种技术被称为泛锐化[4，21].泛锐化可以作为典型的图像融合投射在*通讯作者。图1.（a）LRMS和PAN图像的观测模型(b)梯度投影算法的两个公式化优化问题和迭代步骤。(c)我们提出的GPPNN的主要模块。超分辨率问题在过去的几十年里，我们见证了泛锐化的发展。经典的算法包括分量替换（CS）[7，12]、多分辨率分析（MRA）[1，23]等技术。在深度学习时代，卷积神经网络已成为泛锐化的重要工具[19]。其中一个开创性的工作是由Masi等人提出的泛锐化神经网络（PNN）。[20]第20段。借用第一个超分辨率网络[2]的思想，PNN被馈送PAN图像和上采样LRMS（a）观察模式���∈���������×������∈���������×������∈���������×���波段缩减联系我们模糊下采样PAN HRMS LRMS(b)优化=min ��� − ������DeepPrior+ DeepPrior���min ��� − ���������DeepPrior+DeepPrior���·��� ��� =100-1���•������=���−���•近端= prox ℎ���ℎ····������ =������������−1������=���−���•=ℎ���������=������������������ℎ������−1 公司���简介��� ���=近端������−1+������ℎ(c)GPPNN输入������−1��� ���−1输入��� ���−1������−1©⊝⊝©©©©©⨁⨁������ℎℎ输出©卷积算子PAN块MS Block输出元素减法1367图像以回归HRMS图像。事实上，PNN中只有三个卷积单元，所以它是一个相对较浅的网络。最近，已经提出了许多模型来改进PNN。由于残差网络的成功[8]，几篇论文利用捷径或残差卷积单元来构建深度网络，包括MIPSM [16]，DRPNN [34]和Pan- Net [38]。它们通常包含10个或更多的卷积单元。除了这些网络之外，为了充分利用神经网络的优点，一些研究者建立了更深层次的网络.例如，Wanget al.使用密集连接的卷积单元[10]来设计44层网络[31]用于全色锐化。众所周知，加深网络的层次并不一定会提高性能，因为很难训练更深的网络，冗余的参数使它们很容易过拟合。最近，遥感界开始重新考虑如何充分利用PAN图像的信息[9，24]。值得注意的是，大多数泛锐化网络将PAN图像视为输入的通道这种方式忽略了PAN和LRMS图像之间的不同特性越来越多的研究人员试图提出双分支网络[18，40]。在第一阶段，这两个分支分别提取PAN和LRMS图像的特征。在第二阶段中，特征被融合以重建HRMS图像。虽然卷积神经网络在全色锐化方面表现出良好的性能，但它们需要大量的训练样本[22，33]，并且它们不考虑PAN和LRMS图像的观察进度，即，缺乏可解释性。因此，仍有改进的余地。基于模型的深度学习研究是图像处理领域缩小经典模型和神经网络之间差距的趋势，并且发现基于模型的深度网络通常优于直观设计的网络[22，33]。Xie等提出了一个多光谱和高光谱（HS）图像融合网络（MHNet）的高光谱泛锐化任务[35]。毫无疑问，MHNet可以自然地适应泛锐化[36]。尽管如此，MHNet被设计用于描述高光谱图像的低秩属性，我们的实验表明，MH-Net在全色锐化场景中可能表现不佳。在本文中，我们开发了一种新的基于模型的深度网络用于泛锐化。我们的贡献总结如下：首先，本文考虑了PAN和LRMS图像的生成模型。也就是说，如图1（a）所示，PAN图像是HRMS图像中的频带的线性组合，并且LRMS图像是通过对HRMS图像进行模糊和下采样而生成的。结合观测模型和深度先验，我们提出了两个最优的最小化问题，它们可以有效地解决梯度投影方法，如图所示。1（b）.其次，受算法展开技术思想的启发，将迭代步骤推广为两个神经块，分别证明PAN和LRMS图像的生成模型。所提出的神经块中的计算流是可解释的。如图1（c）所示，对于MS块，给定HRMS图像的当前估计，其生成对应的LRMS图像并计算所生成的LRMS图像与真实图像之间的残差。然后对该残差进行上采样，并将其添加到当前估计中以重建下一个HRMS图像。PAN块可以被类似地解释。我们通过交替堆叠这两个块来构建一个新的网络。在下文中，它称为基于梯度投影的泛锐化神经网络（GPPNN）。据我们所知，它是第一个用于泛锐化的模型驱动深度网络。第 三 ， 将 所 提 出 的 GPPNN 与 13 种 最 先 进 的（SOTA）和经典的全色锐化方法进行了比较。在三颗受 欢 迎 的 卫 星 上 进 行 的 广 泛 实 验 Landsat8 ，QuickBird，GF2）表明，我们的网络优于其他同行的定量和视觉。2. 相关工作2.1. 经典的平底锅锐化方法经典的全色锐化方法主要包括基于CS的算法、基于MRA的算法和其他算法。CS方法假设多光谱图像的空间和光谱信息可以分解。因此，通过组合PAN图像的空间信息和LRMS图像的光谱信息来重建HRMS图像。在过去的几十年里，研究者们设计了各种各样的分解算法.例如，强度-色调-饱和度（IHS）融合[7]采用IHS变 换 ， Brovey 方 法 [5] 使 用 乘 法 注 入 方 案 ， Gram-Schmidt（GS）方法[12]采用Gram-Schmidt正交化过程。CS方法的主要缺点是，如果光谱和空间信息没有被适当地分解，则图像包含伪影。MRA方法将多尺度变换应用于PAN图像以提取空间细节，然后将其注入到上采样的LRMS图像中。典型的算法包括高通滤波器（HPF）融合[26]和诱导方法[11]、基于平滑滤波器的强度调制（SSPG）[15]。MRA方法的性能很大程度上取决于多尺度变换。13682.2. 基于深度学习的方法近年来，卷积神经网络已成为遥感领域最有效的工具之一。给定一个参数化网络，它被馈送一个LRMS图像， PAN图像回归HRMS图像，并且其参数（或者说，权重）以端到端的方式从数据中学习。第一次尝试是具有三个卷积单元的PNN [20]。最近，由于计算机视觉的快速发展[8，10]，它能够训练非常深的网络。研究人员提出了具有数十层的深度泛锐化网络，并且性能得到了极大的改善[27，31，38，40]。同时，研究人员还探索了两个分支网络，以分别从MS和PAN图像中提取特征[18，40]。最近，泛锐化社区的研究趋势之一是将经典方法与深度神经网络相结合，以提高可解释性。3. GPPNN在本节中，我们开发了一个模型驱动的泛锐化网络。为了方便起见，我们在介绍GPPNN之前总结了本文中的表示。L∈Rmn×B是高度为m的LRMS图像，an的宽度和B的带数。H∈RMN×B是高为M、宽为N、波段数为B的HRMS图像。P∈R MN× b是空间分辨率与H相同的PAN图像，但只有一个频带（即， b = 1）。 r = M/m = N/n是空间分辨率。 由于符号的滥用，我们在深度学习的上下文中使用它们的张量版本（即L∈R m× n × B，H∈R M× N × B，P∈R M× N × b）。符号Conv（·;cin，cut）是其输入为并且输出分别具有C_IN和C_OUT信道。在下文中，函数Conv（·;cin，cmid，cout）表示级联卷积算子，即，基于深度学习的方法。例如，在-Conv.·;cin ，cmid ，cout受MRA算法思想的启发，MIPSM [16]设计了- 用于PAN图像的空间细节提取网络，以及=Conv.ReLU.Conv.·;cin ，c中期;cmid ，couutzuo.（一）将细节注入LRMS图像。Liu等提出了一种自适应权重网络，用于整合不同经典方法的优点[14]。它克服了CS和MRA算法的缺点，并且优于一些基于SOTA深度学习的方法。2.3. 模型驱动的深度网络大多数深度神经网络都是直观设计的。最近，越来越多的研究人员关注基于模型的神经网络用于图像处理任务[22，33]。模型驱动深度学习的基本思想是通过整合特定任务的先验知识来制定观察模型或优化问题，并将算法步骤的每次迭代转换为深度神经网络层[22，33]。穿过堆叠3.1. 模型配方我们的网络从LRMS、HRMS和PAN图像的观察模型开始。假设LRMS图像是通过对HRMS图像进行下采样和模糊来获得的，而PAN图像是HRMS图像的光谱响应在公式中，L=DKH，P=HS，其中D∈R mn× MN表示下采样矩阵，K是（低通）循环卷积矩阵，S ∈ R B× b是所谓的谱响应函数。众所周知，HRMS图像是一个不适定问题。因此，它经常公式化以下惩罚优化，minf（L，H）+g（P，H）+λh（H），（2）H其中h（·）是先验项，f（L，H）=<$L-DKH<$2/2和g（P，H）=<$P−HS<$2/2是数据fi。层对应于执行一定的算法2 2次数。基于模型的深度学习在经典模型和深度神经网络之间架起了桥梁。这个想法已成功应用于各种任务，包括稀疏编码[6]，压缩感知[39]，图像去模糊[13]，图像去雾[37]和图像去噪[32]。值得一提的是MHNet，这是一种模型驱动的网络，用于高光谱泛锐化任务[35]，以在MS图像的指导下超分辨率HS图像。它可以自然地适应泛锐化，但MHNet主要关注HS图像的低秩属性，即，其等级rHS远低于频带的数量BHS。实际上，HS图像中有几十个或几百个条带，而MS图像中不超过10个条带因此，低秩属性对于MS图像不明显，并且MHNet可能在全色锐化任务中发生故障。对LRMS和PAN IM负责的delity条款-年龄，尊重我的价值。在经典方法中，h（·）通常被设计为手工函数，例如全变差或核范数[17]。然而，在深度学习的时代，建议将h（·）设置为深度pri或[28，41]。在换句话说，最好设置一个隐式先验，神经网络参数化。此外，深度先验是从数据中学习的，可以适应不同的任务和观察模型。为了充分利用深度先验，代替上述问题，我们考虑LRMS感知问题和PAN感知问题：min1<$L−DKH<$2+λh（H），（3a）1369H22lmin1 <$P − HS<$2+ λh（H）。（3b）H22p1370HL+p+这里，h1（·）和hp（·）分别是说明LRMS和PAN图像的观测的两个深度先验第4.4节中的消融实验验证了Eq. （三）取得了比Eq.（二）、接下来，我们描述如何解决这两个问题。此外，解决方案被推广到LRMS感知块（MS块）和PAN感知块（PAN块），可以嵌入到神经网络中。3.2. MS Block注意，方程中的滤波器(5a)和（5c）彼此转置，但是我们不强制等式（5c）中的卷积核(6)（8）满足这种柔性要求。第4.4节中的消融实验表明，它稍微提高了GPPNN最后，EQ。(5d)通过与邻近的操作者考虑残差来输出HRMS图像如前所述，关于深度先验的邻近以这种方式，可以从数据中直接学习深度先验。所以我们有我们采用梯度投影方法[25]求解方程。(3a)更新规则为H（t）=Conv.ΣH（t−1）+R（t）;B，C，B.（九）H（t）=proxh.ΣH（t−1）−ρf（H（t−1））、（四）接下来，Eqs。（6）、（7）、（8）和（9）被命名为其中ρ是步长，proxh（·）是近端运算符r。MS Block。 为了更好地理解，计算L对应于罚函数hl（·）和kf（H（t−1））=MS块的流程如图所示。1（c）.−（DK）T（L-DKH）表示数据忠诚度术语受模型驱动的深度学习原理的启发[22]，我们推广了Eq. (4)作为网络块。首先，Eq。(4)分为以下四个步骤，3.3. PAN块在 本 小 节 中 ， 我 们 考 虑 PAN 的 观 察 模 型 当 量（3b））。采用梯度投影法，更新规则为L（t）=DKH（t−1），（5a）R（t）=L-L（t），（5b）H（t）=proxh.ΣH（t−1）−ρg（H（t−1））、（十）R（t）=ρ（DK）TR（t），（5c）其中，δg（H（t−1））=−（P-HS）ST。与类似的HH（t）=proxh.lH（t−1）R（t）H.（5d）技术，它能够翻译Eq。(10)变成一个神经网络块。首先，Eq。(10)分为四个步骤，然后，每一步都用深度学习术语翻译。为了方便起见，我们使用张量版本来表示深度学习上下文中的变量。由方程式（5a），给定当前HRMS图像H（t-1），其生成：通过应用低通滤波器来处理LRMS图像L_（t）接着，P（t）=H（t−1）S，（11a）R（t）=P-P（t），（11b）R（t）=ρR（t）ST，和下采样。 在神经网络中，这一步很简单。hp.（11c）Σ由L（t）=Conv.ΣH（t−1）;B，C，B↓，（6）H（t）=proxhH（t−1）R（t）H.（11d）其中下采样是用双三次插值进行的在深度学习的背景下，如图1（c）所示，这些步骤被重写为，滤波器K用级联卷积算子Conv（·;B，C，B）代替，得到更好的表示P（t）=Conv.ΣH（t−1）;B，C，b、（12a）LpLp1371HpHLHL功能. C是特征图的通道数，R（t）=P-P（t），（12b）在这篇文章中我们把它设为64B是通道数对于MS图像，它取决于输入数据。pR（t）=ρConv.ΣR（t）;b，C，B、（12c）之后，EQ。(5b)计算真实LRMS 图像L和生成的LRMS图像L（t）之间的残差，并且平移是微不足道的，如以下等式所示H（t）=Conv.ΣH（t−1）+R（t）;B，C，B.（12d）R（t）=L-L（t）。（七）下一篇：EQ (5c)获得高分辨率残差。类似于Eqs。(5a)以及（6），该步骤被重写为这里，b=1是PAN图像的通道数。重新标记Eq.的基本假设。(3b)PAN图像是HRMS图像的线性组合。S/ST被认为是一个频带缩减/扩展算子。R（t）=ρConv.ΣR（t）;B，C，B↑。（八）有了这个假设，方程中的卷积单元。(12a)和(12c)内核大小应该为1。1372图2. GPPNN的结构3.4. GPPNN现在，有了MS块和PAN块，我们就可以构建基于梯度投影的泛锐化神经网络（GPPNN）了。我们的GPPNN的结构如图2所示网络开始于一个输入层，并且它需要HRMS图像的初始值我们通过对输入的LRMS图像L ∈Rm×n×B应用双三次插值来初始化H（0）∈RM× N × B。该网络之后是主干子网。那里是K层，每个层由MS块和PAN块组成。在公式中，有表1.数据集的信息B是多光谱图像的波段数Landsat8高芬QuickBirdB1044分离度-MS256256256分辨率-PAN51210241024#训练/确认/测试350/50/100350/50/100474/103/1004. 实验进行了一系列实验来评估和H（t+0. 5）=MS块..ΣH（t），LΣ（十三）GPPNN的性能选择基于SOTA深度学习的方法进行比较，即MIPSM [16]，DRPNN [34]，MSDCNN [40]，RSIFNN [27]，PanNet [38]，H（t+1）=PAN块H（t+0.5），P.（十四）[35]《明史》： 我们的方法也比较了七个经典方法，包括BDSD [3]，Brovey [5]，GS [12]，最后一层r的输出（表示为H∈RM×N×B）是最终重构的HRMS。3.5. 培训详情我们的GPPNN由H和地面真实值H之间的1损失，H−H1 来 监 督 。在实践中，成对的训练样本是不可用的。当我们建造火车的时候-使用Wald协议[30]来生成配对样本。例如，给定多光谱图像H∈RM×N ×B和PAN图像P∈RrM×rN ×b，它们都以比率r下采样，并且下采样采样版本表示为L ∈RM/r× N/r × B和P∈RM×N×b。在训练集中，L和P被记录为输入，而H是地面实况。GPPNN是用Pytorch框架实现的。他们Adam 在 100 个epoch 上 进 行了 优 化 ， 学 习率 为5×10−4，批量大小为16。在我们的实验中，kLR=3并且kPAN=1。 在第4.2节中，我们报告了不同C和K的GPPNN的性能。作为一种平衡，C和K分别设置为64和8[26]，IHS fusion [7]，Indusion [11]，Scrum [15].实验在具有3.60GHz的Intel i7- 9700 K CPU和NVIDIA GeForceRTX 2080 ti GPU的计算机上进行。4.1. 数据集和指标实验中使用了Landsat 8、QuickBird和Gao Fen 2三颗卫星的遥感图像，其基本信息列于表1。对于每颗卫星，我们有数百个图像对，它们被分为三个部分进行训练，验证和测试。请注意，我们在验证数据集上确定K和C在训练集中，多光谱图像是裁剪成32×32的斑块，对应的PAN斑块大小为64×64（Landsat8）或128×128（GaoFen 2和QuickBird）。为了数值稳定性，通过除以最大值，使像素范围从0到1。四个流行的指标被用来评估算法标签L1损失产品展示���输出层PAN块第1层MS块PAN块第2层MS块输入双三插值PAN块骨干K层MS块输入层…………1373(a)LRMS（b）PAN（c）GT（PSNR）（d）BDSD（17.23）（e）GS（14.21）（f）MIPSM（19.80）(g)DRPNN（21.45）（h）MSDCNN（21.94）（i）RSIFNN（17.14） （j）PANNET（20.09） （k）MHNet（19.58） （l）GPPNN（24.40）图3.对Landsat8数据集进行目视检查每个子图像的标题显示相应的PSNR值。表2.不同K和C的GPPNN在验证数据集上的PSNR值。最佳值用粗体突出显示。卫星K层C过滤器24681012148163264128Landsat839.064839.587839.987640.036840.133639.953140.050936.645539.615639.670240.036839.0841QuickBird30.499430.439230.637030.563630.480330.477330.556030.296230.468130.459230.563630.5979高芬36.758336.974036.218137.560637.058936.783536.684035.811636.906136.281037.560636.5873结 构 相 似 性 （ SSIM ） 、 相 对 误 差 全 局 维 数 合 成（ERGAS）和光谱角映射（SAM）。前三个度量测量空间失真，最后一个度量测量频谱失真。PSNR和SSIM越高，ERGAS和SAM越低，图像越好。4.2. 深度和宽度的影响网络表2列出了具有不同K和C的GPPNN的验证数据集上的PSNR值。首先，C被固定为64，K被设置为2，4，···，14。它表明，更多的奠定-ER不一定会增加PSNR值，并且K=8在性能和数量之间取得平衡，权重原因可能是训练具有更多层的GPPNN并不容易。然后，我们将K固定为8，将C设置为8，16，32，64和128。同样可以得出类似的结论，C的最佳选择是64。总之，我们的GPPNN在接下来的实验中配置了K=8层和C=64个4.3. 与SOTA方法的比较表3报告了三个数据集的评价指标。结果表明，GPPNN在三颗卫星上的各项性能指标均图图3、图4和图5示出了三颗卫星的RGB波段的一些代表性方法。我们的GPPNN最接近地面真相。从图3中放大的局部区域，发现BDSD、GS、MIPSM、DRPNN、PANNET遭受空间失真，并且GS、MSDCNN、RSIFNN和MH-Net遭受频谱失真。然而，我们的GPPNN具有最小的空间和光谱失真。至于图4，这是一个困难的情况。结果表明，大多数方法存在明显的伪影或噪声，图像模糊或光谱畸变。我们的GPPNN是没有人为因素，噪声或频谱失真。如图5所示，可以观察到，与其他方法相比，我们的GPPNN具有更细粒度的纹理和更粗粒度的结构。4.4. 消融实验为了进一步研究GPPNN中一些模块的作用，我们进行了一系列的烧蚀实验。1374表3.测试数据集上的四个指标最佳值和次佳值分别用粗体和下划线突出显示向上或向下箭头指示更高或更低的度量对应于更好的图像。Landsat8QuickBird高芬PSNR↑SSIM↑SAM↓ERGAS↓PSNR↑SSIM↑SAM↓ERGAS↓PSNR↑SSIM↑SAM↓ERGAS↓BDSD33.80650.91280.02551.912823.55400.71560.07654.887430.21140.87320.01262.3963Brovey32.40300.85330.02061.980625.27440.73700.06404.208531.59010.90330.01102.2088GS32.01630.86870.03042.211926.03050.68290.05863.949830.43570.88360.01012.3075HPF32.66910.87120.02502.066925.99770.73780.05883.945230.48120.88480.01132.3311IHS32.87720.86150.02452.312824.38260.67420.06474.620830.47540.86390.01082.3546印度河30.84760.81680.03592.421625.76230.63770.06744.251430.53590.88490.01132.3457SFIM32.72070.87140.02482.077524.03510.64090.07394.828230.40210.85010.01292.3688MIPSM35.48910.93890.02091.576927.73230.84110.05223.155032.17610.93920.01041.8830DRPNN37.36390.96130.01731.330331.04150.89930.03782.225035.11820.96630.0098一点三零七八MSDCNN36.25360.95810.01761.416030.12450.87280.04342.564933.67150.96850.00901.4720RSIFNN37.07820.95470.01721.327330.57690.88980.04052.353033.05880.95880.01121.5658帕内特38.09100.96470.01521.302130.96310.89880.03682.264834.57740.96350.00891.4750MHNet37.00490.95660.01891.350931.15570.89470.0368一九三一年二月33.89300.92910.01761.3697GPPNN38.99390.97270.01381.248331.49730.90750.03512.105835.96800.97250.00841.2798(a)LRMS（b）PAN（c）GT（PSNR）（d）BDSD（16.23）（e）GS（15.80）（f）MIPSM（16.84）(g)DRPNN（18.85）（h）MSDCNN（18.15）（i）RSIFNN（17.33） （j）PANNET（18.22） （k）MHNet（19.50） （l）GPPNN（21.13）图4.对QuickBird数据集进行目视检查每个子图像的标题显示相应的PSNR值。出去了。有5种不同的配置，消融实验的结果如表4所示。(I) 近端运算符使当前HRMS图像仅限于深度先验。在第一个实验中，我们删除了邻近的模块（即等式中的卷积单元）。(9)&（12d）验证深度先验的必要性。表4显示，删除邻近模块会使所有metrics急剧恶化。因此，深度先验在我们的网络中起着重要的作用。(II) 在第二个实验中，我们共享所有层的权重。换句话说，网络只包含一个MS块和PAN块，并且网络被重复地馈送K次当前HRMS图像。表4中的结果表明，共享权重会削弱我们网络(III) 如第3.1节所示，原始问题Eq. (2)被分为LRMS感知子问题和PAN感知子问题。现在，为了验证合理性，我们将Eq.(2)作为一个神经网络与相同的技术为GPPNN 。 我 们 利 用 这 个 块 来 构 建 一 个 对 应 于 Eq.（二）、从表4中，我们了解到Eq.（2）比GPPNN差有必要1375(a)LRMS（b）PAN（c）GT（PSNR）（d）BDSD（21.86）（e）GS（21.43）（f）MIPSM（22.11）(g)DRPNN（26.41）（h）MSDCNN（26.90）（i）RSIFNN（24.74） （j）PANNET（26.72） （k）MHNet（25.17） （l）GPPNN（28.70）图5.对GaoFen 2数据集进行目视检查每个子图像的标题显示相应的PSNR值。表4.Landsat 8数据集上的消融实验结果配置近侧模块共享权用于Eq.（二）转置PSNR↑SSIM↑SAM↓ERGAS↓我××××37.04040.94980.01801.4246IICC××38.16500.96690.01641.2943IIIC×C×38.32130.96820.01551.3215IVC××C38.54870.97000.01501.2746GPPNNC×××38.99390.97270.01381.2483考虑两个深度先验以分别说明LRMS和PAN图像的生成模型。(IV) 在最后一个实验中，Eq. (8)f（12c）被替换为等式中的核。(6)/（12 a），旋转180°，以迫使它们满足换位要求。据发现，如果这两个内核转置到对方，度量将稍微变得更糟。其原因可能是转置核模型的自由度较少，5. 结论和未来工作本文提供了一种新的范式相结合的深度unrolling和观察模型的泛锐化。我们开发了一个模型驱动的泛锐化网络，GPPNN，交替堆叠MS和PAN块，其设计灵感来自两个优化问题。三颗卫星上的实验并通过一系列烧蚀实验验证了网络结构的合理性。请注意，每颗卫星都有其独特的成像参数-包括D、K和S。在一颗卫星上训练的GPPNN不能推广到另一颗卫星。因此，如何提高GPPNN的泛化能力是今后的确认这项工作部分由中国国家重点研究与发展计划资助2018AAA0102201，部分由中国国家自然科学基金资助61976174，61877049。引用[1] L.阿尔帕龙湾Aiazzi，S. Baronti和A.加泽利光谱失真最小化的超高分辨率图像锐化IEEE国际地球科学与遥感研讨会. 第1卷，第458-460页，第1卷，2003年。[2] Chao Dong ， Chen Change Loy ， Kaiming He ， andXiaoou Tang.使用深度卷积网络的图像超分辨率-1376工程. IEEE传输模式分析马赫内特尔，38（2）：295[3] A. Garzelli，F. Nencini和L.卡波比安科极高分辨率多光谱图像的最佳mmse全色锐化。IEEE Transactions onGeoscience and Remote Sens- ing，46（1）：228[4] P. 加米西湾Rasti，N.Yokoya，Q.王湾，澳-地霍夫勒湖Bruz-zone，F. Bovolo，M. Chi，K.安德斯河Gloaguen，P. M. Atkinson和J. A. Benediktsson遥感中的多光谱和多时相数据融合：对最新技术的全面回顾。IEEE地球科学与遥感杂志，7（1）：6[5] Alan R Gillespie，Anne B Kahle，and Richard E Walker.高度相关图像的颜色增强。二.通道比和“色度”变换技术。环境遥感，22（3）：343[6] Karol Gregor和Yann LeCun。学习稀疏编码的快速近似。在ICML，June 21-24，Haifa，Israel，第399-406页[7] R. Haydn，G. W. Dalke，J. Henkel，and J. E.裸着。ihs彩色变换在多传感器数据处理和图像增强中的应用。在proc Int. Symp. 《干旱和半干旱地区遥感》，第599-616页，1982年。[8] 何开明，张翔宇，任少卿，孙健。用于图像识别的深度残差学习。在CVPR，Las Vegas，NV，USA，2016年6月27-30日，第770-778页[9] L.他，Y。Rao，J. Li，J. Chanussot，A. Plaza，J. Zhu和B.李通过基于细节注入的卷积神经网络进行泛锐化。IEEEJournalofSelectedTopicsinAppliedEarthObservations and Remote Sensing ， 12 （ 4 ） ： 1188-1204，2019。[10] 高煌，刘壮，劳伦斯·范德马腾，和基利安·Q.温伯格密集连接的卷积网络。在CVPR，檀香山，HI，美国，2017年7月21日至26日，第2261-2269页[11] M. M. Khan，J. Chanussot，L. Condat和A.蒙坦维尔结论：使用感应缩放技术融合多光谱和全色图像。IEEEGeoscience and Remote Sensing Letters，5（1）：98[12] C. A. Laben和B.布劳尔。用于增强的方法使用全色锐 化 的 多 光 谱 图 像 的 空 间 分 辨 率 。 (U.S. 专 利6011875A），2000年1月。[13] Yuelong Li ，Mohammad Toyani， Junyi Geng ， VishalMonga，and Yonina C.灵族通过算法展开实现高效和可解释的深度盲图像去模糊 IEEE Trans. 计算成像，6：666 -681，2020。[14] Junmin Liu，Yunqiao Feng，Changsheng Zhou，ChunxiaZhang.Pwnet：一个用于全色和多光谱图像融合的自适应权重网络。遥控器Sens. ，12（17）：2804，2020.[15] J. G. 刘某 基于平滑滤波器的强度调制：用于改善空间细节的光谱保留图像融合技术。International Journal ofRemote Sensing，21（18）：3461[16] Lu Liu，Jun Wang，Erlei Zhang，Bin Li，Xuan Zhu，Yongqin Zhang，and Jinye Peng.浅-深卷积网络以及用于多光谱图像泛锐化的基于光谱鉴别的细节注入。美国电气与电子工程师学会杂志应用地球观测遥控器。Sens. ，13：1772[17] P.刘湖，加-地Xiao和T.李一种基于空间分数阶几何和谱空 间 IEEE Transactions on Geo- science and RemoteSensing，56（3）：1788[18] Xiangyu Liu，Qingjie Liu，Yunhong Wang.基于双流融合网络的遥感图像融合信息融合，55：1[19] Lei Ma，Yu Liu，Xueliang Zhang，Yuanxin Ye，GaofeiYin，and Brian Alan Johnson.深度学习在遥感应用中的应 用 ： 荟 萃 分 析 和 评 论 。 ISPRS Journal ofPhotogrammetry and Remote Sensing，152：166[20] Giuseppe Masi ， Davide Cozzolino ， Luisa Verdoliva ，and Giuseppe Scarpa.卷积神经网络的泛锐化。遥控器Sens. ，8（7）：594，2016.[21] X.孟氏Y. Xiong，中国山梅花F. Shao，H.沈，W。孙，G.扬角，澳-地袁河Fu和H.张某用于评估全色锐化性能的大规模基准数据集：概述和实施。IEEE地球科学和遥感杂志，0-0页[22] Vishal Monga，Yuelong Li和Yonina C.灵族算法展开：用于信号和图像处理的可解释、高效的深度学习。CoRR，abs/1912.10557，2019。[23] X a vierOtazu，Ma r'ıaGon za' lez-Au d'ıcana，Oct a viFors和Jor r geNu'nZheez。将传感器光谱响应引入图像融合方法。应用于基于小波的方法。 IEEE Trans. 吉奥西。遥控器Sens. ，43（10）：2376[24] F.厄兹切利克湾Alganci、E. Sertel和G.乌纳尔重新思考基于cnn的泛锐化：通过gans引导全色图像的彩色化。IEEE Transactions on Geoscience and Remote Sensing，第1-16页[25] R. 泰瑞尔·洛克费勒单调算子和邻近点算法。SIAMJournal on Control and Optimization，14（5）：877[26] R. A.施文格特利用空间频率含量重建多空间多光谱图像数据。Pho- togramm Eng Remote Sens，46（10）：1325[27] Z. Shao和J. Cai.基于深度卷积神经网络的遥感图像融合 。 IEEE Journal of Selected Topics in Applied EarthObservations and Remote Sensing，11（5）：1656[28] DmitryUlyanov ， AndreaVedaldi 和 VictorS.Lempitsky。深层图像先验。在CVPR，美国犹他州盐湖城，2018年6月18日至22日，第9446-9454页[29] G.维沃内湖Alparone，J. Chanussot，M. Dalla Mura，A.Garzelli，G.A. 利恰尔迪河Restaino和L.华德泛锐化算法之 间 的 IEEE Trans-actions on Geoscience and RemoteSensing，53（5）：2565[30] Luci