像素到像素变换：无监督的引导超分辨率方法

8829像素到像素变换Riccardo de Lutio，Stefano摘要引导超分辨率是用于若干计算机视觉任务的统一框架，其中输入是某一目标量的低分辨率源图像（例如，用飞行时间照相机获取的透视深度）和来自不同域的高分辨率引导图像（例如，来自传统相机的灰度图像）;并且目标输出是源的高分辨率版本（在我们的示例中，是高分辨率深度图）。看待这个问题的标准方法是将其公式化为超分辨率任务，即，源图像被上采样到目标分辨率，同时从向导传送丢失的高频细节。在这里，我们建议把它的头上的逐像素映射被参数化为多层感知器，其权重通过最小化源图像和下采样目标图像之间重要的是，我们的公式使它有可能只正则化映射函数，同时避免正则化的输出，从而产生清晰，自然的图像。所提出的方法是无监督的，只使用特定的源和引导图像来适应映射。我们评估我们的方法在两个不同的任务，超分辨率的深度图和树的高度图。在这两种情况下，我们在定量比较中明显优于最近的基线，同时提供视觉上更清晰的输出。1. 介绍许多计算机视觉任务可以被视为引导超分辨率的实例。例如，许多机器人也配备了传统的摄像头作为飞行时间相机（或激光扫描仪）。后者获取低空间分辨率的深度图，分别是对象空间中的大像素足迹，并且是否可以通过从相机图像转移细节来增强其分辨率是一个自然的另一个前-图1：引导超分辨率：给定低分辨率深度图和高分辨率引导图像，我们的方法预测高分辨率深度图。该图示出了所提出的方法的示例输出，上采样因子为16×。环境测绘就是一个很好的例子，在这种情况下，可以以比现代地球观测卫星的地面采样距离低得多的测绘分辨率获得树高或生物量等参数的地图。引导超分辨率的另一种观点是引导滤波[8]的概括，广泛用于图像处理和分析。引导滤波器通过在每个像素处计算取决于源和引导图像（其可以是源本身，如在流行的双边滤波器[27]中）中的局部邻域的函数，将源图像映射到相同大小的目标图像引导超分辨率做同样的事情，除了源图像具有较低的空间分辨率并且必须在该过程中另外上采样。建模引导超分辨率的标准方法是作为逆问题：源图像被理解为8830对目标图像进行下采样的结果。我们的目标是取消该操作，利用指南来约束解决方案，通过传输在下采样期间丢失的高频细节，例如精细结构和尖锐边界。模型推断可以通过直接最小化适当的损失函数来完成，例如，用变分方法[5];或者在两个单独的步骤中，例如，使用通用双线性或双三次插值进行上采样，然后进行引导滤波[30]。在这里，我们提出了引导超分辨率的另一种解释，其中源图像和引导图像的角色交换：而不是找到从源到目标的变换并将输出约束为与来自不同图像域的引导一致;相反，我们更愿意找到从向导到目标的变换，即，从一个图像域到另一个图像域的逐像素映射，而不改变分辨率，并通过要求其下采样版本与源图像匹配来约束输出。在我们的实现中，我们将映射参数化为多层感知器，该多层感知器将单个像素处的引导图像的所有通道（加上对应于像素的x坐标和y坐标的两个附加“通道”）作为输入在CNN术语中，指南用两个编码像素位置的额外通道进行增强，然后通过卷积网络，其层仅1×1个内核。因此，从引导到目标域的变换单独地作用于像素，而不看-在他们的邻居。空间上下文关系被隐式编码，并且通过学习必须对所有像素有效的单组变换参数而创建的结构瓶颈，对每个图像进行自我们将这种设置称为重要的是，我们的方法是无监督的：虽然映射在结构上是CNN的一种形式，但我们不会从训练集中学习一组静态的网络权重，然后将这些权重应用于每个新的测试图像。相反，我们为每个新图像拟合一组单独的权重，类似于[28]，使用其所有像素作为我们认为，这种观点的指导超分辨率有两个非常实际的优势。（i）通过已经以期望的分辨率开始，并且仅使用1×1内核，不同的输入位置不会混合，这避免了模糊。（ii）通过对所有像素使用相同的映射函数并将收缩之前，它的参数，一个获得一个适定的问题，而没有正则化的输出图像。以这种方式，在输出级也避免了模糊。这些特性共同导致输出具有出色的锐度。本文的贡献是一个新的公式引导超分辨率，作为从引导到目标的像素到像素变换的无监督学习。得到图像，受到低分辨率源的约束.我们目前的实验上的两个任务：超分辨率的深度图，和超分辨率的树高图。他们表明，我们的配方明显优于高上采样因子的计算超分辨率方法（×8至×32）。2. 相关工作引导过滤。大量的工作是关于引导滤波的，没有额外的超分辨率的挑战.一般原理是通过应用滤波器来增强源图像，该滤波器的输出不仅取决于源图像的局部邻域，而且还取决于从引导图像中的相同邻域导出的权重。起点是双边滤波器[27]，其中源图像本身用作指导。采用来自不同域的引导的经典示例包括联合双边滤波器[23]、引导滤波器（GF）[8]和加权中值滤波器[20]。引导滤波已被用于各种图像处理应用，从去噪[8]或着色[13]等低级任务一直到立体匹配[10]。引导超分辨率。 已经针对超分辨率深度以及针对像色调映射和图像着色的低级操作探索了引导滤波到超分辨率问题的扩展。我们区分基于上述局部滤波原理的局部方法和将上采样任务制定为全局能量最小化的全局方法局部方法是两步过程的变体，即，首先使用朴素插值对低分辨率源图像进行上采样，然后通过应用由高分辨率向导[13，30]控制的滤波器对其进行增强。变体包括在高分辨率图像中使用测地线距离而不是原始对比度[19]，并结合源图像和引导图像中的对比度来确定滤波器强度[3]。全局方法将超分辨率表示为能量最小化问题，其解返回目标图像中所有像素的值。能量函数由测量下采样的目标图像和低分辨率源图像之间的兼容性的数据项和用于正则化不适定问题的平滑项组成。在引导的情况下，后一项不是平滑解的各向同性偏好，而是由引导图像调制。全局方法已经被实现为马尔可夫随机场[4]，并且已经被扩展为另外包括非局部均值的思想以增强图像结构[22]。另一种可能的实现方式是变分推理[5]，其中总广义变分（TGV）先验的各向异性版本由引导图像调制还已经提出8831用自回归模型[29]代替TGV先验，其参数再次是引导图像中双边滤波器响应的函数。最近出现了一些方法，在全局优化框架中嵌入双边/引导滤波的思想，而不是应用局部滤波器。特别是，快速双边求解器（FBS）[2]提供了一种基于稀疏线性系统[1]的优化机制，以获得具有尖锐不连续性的双边平滑输出。而静态/动态（SD）滤波器[7]将引导滤波问题转换为通过优化-最小化算法解决的非凸优化。两者都已成功地用于引导超分辨率，除了其他图像处理任务。学习引导超分辨率。 到目前为止描述的方法是无监督的。还有一种工作是从示例中学习如何对源图像进行上采样，同时将高频细节从引导图像传输到目标输出。这种数据驱动方法的优点在于，从真实图像数据学习如何最佳地融合源图像和引导图像可以潜在地给出比手工制作的启发式更好的结果。对于所有的监督学习，缺点是一方面必须能够访问足够量的训练数据-在我们的情况下，低分辨率源，高分辨率指导和高分辨率目标图像的三元组。另一方面，超分辨率算法在设计上对训练数据过拟合，即使是轻微的域偏移也不太可能推广。早期的基于学习的方法是基于字典学习的思想，其中图像块被视为基函数的（稀疏）线性组合。对于超分辨率，人们共同构建对应的源、引导和目标块的基础（字典），使得在测试时间，可以从源和引导图像中提取基础系数，并用于重建目标图像[18，14]。最近，深度卷积网络已被用于直接学习从两个输入到目标输出的映射，保持字典隐含在网络中。深度原始-对偶网络[24]采用标准编码器-解码器架构，其将原始上采样的源图像和指南作为输入，并输出对源图像的差分校正。然后，使用非局部总变差（TV）最小化进一步细化结果，展开到一系列神经网络层中。深度联合图像滤波器[16，17]对源图像和深度联合图像滤波器[16，17低分辨率源高分辨率导向器高分辨率目标图2：问题设置和符号的说明。对源图像进行上采样。如前所述，训练网络以输出朴素上采样的差分校正[21]针对超解析语义分割的特定情况。高分辨率3. 方法符号和预备我们将低分辨率源地图表示为S，将我们旨在恢复的高分辨率目标地图表示为T，并且高分辨率引导图像为G.为了简单起见，我们假设正方形图像，源S的大小为M×M，目标T的大小为N×N，引导G的大小为N×N×C，其中C是通道数。 为sim-简 化 符 号 ， 我 们 使 用 1 维 像 素 索 引 m ∈[1] 。 . .M2]，n ∈ [1. . . N2]，在需要时可以扩展到2维像素坐标[x m，y m]=xm。N和M之间的关系由上采样因子D∈N+：N=D·M给出。 换句话说，每个源像素覆盖D × D个目标像素的块b（m）;见图2。二、低分辨率像素的值是非分辨率像素的平均值对高分辨率像素进行分层（利用已知的点扩散函数进行加权平均也是可能的，但是为了简化符号而被省略引导，然后将得到的特征解码为目标。最突出的是，多尺度引导网络（MSG- Net）[11]从具有编码器分支的引导图像中提取不同分辨率的特征，并使用它们来引导1sm=D2Σn∈b（m）tn=.Σtn b（m）。（一）通过将源图像连接到解码器分支我们的目标是获得高分辨率的估计T地图，给定S和G。8832. Mθ提出的解决方案而不是直接估计未知的目标像素tn，我们将问题重新表述为试图找到一个函数fθ：R→R，参数θ映射每个向导pix el to a tar得到pix el，tn=fθ（gn），结果为与源图像一致，根据Eq.（一）. 作为衡量一致性的损失函数，我们根据经验使用101-distance，导致：好吧 .Σ。θ=argminθ.sm−Mfθ（gn）b（m）. . （二）该问题显然是不适定的，因为可以构造损失为0的许多不同的目标图像T。此外，即使对于给定的S，T和G，也总是可以通过选择一个足够复杂的函数1fθ来找到完美的解。在 这里 ，我 们 将函 数fθ 参 数化 为多 层感 知器（MLP），其将引导像素gn处的强度的（C × 1）-向量作为输入，并输出相应的ta r get值tn。把fθ归结为一个函数-合理的低复杂性确保了问题是可解决的。但由于某些输入图像比其他图像更容易上采样，因此在大多数情况下，总是使用fθ的全部容量容易过拟合我们的方法的一个核心观点是，通过调整输出T，还可以对抗过拟合通过鼓励通过合适的正则化器选择更简单的fθ，在我们的例子中，网络权重上的惩罚是102图3：用于对引导图像和高分辨率图之间的映射进行建模的神经网络的架构。当具有相应的先验知识时，例如，当超分辨语义分割时，人们可能不希望映射在图像平面上强烈变化。借助于下式超分辨给定的输入图像S：引导图像G现在相当于解决优化问题（4）。这可以通过简单的随机梯度下降来完成，但使用更高级的θ=a r gminΣ。s−。θmΣ。¨¨2fθ（gn）b（m）. 公司简介、（3）针对这一特定问题结构的优化方案寻找最佳的数值方案留待以后的工作。注意，可以执行具有控制正则化强度的超参数λ。还有一个问题是EQ。（3），即这种形式的模型限制性太强：它在引导像素Gn和输出之间强加一对一的关系pi x elstn. 例如，如果两个像素具有相同的颜色，在指南中，那么它们将被映射到相同的目标深度，这显然是不合理的。我们注入必要灵活性的技巧是额外允许映射在图像平面上变化：在任何深度学习框架中，通过将fθ实现为卷积网络F1×1，在所有层上具有（1 × 1）个内核。 该网络将完整的引导图像作为输入，并输出完整的目标，该完整的引导图像用像素索引x n、y n的两个附加通道进行了增强。形象一旦拟合了网络参数，通过将函数fθ应用于向导的每个像素来恢复目标，这对应于卷积版本中的前向传递：Σ。.Σ。¨¨2tn=f（gn）、T=F1×1（G）.（五）θ=argminθ.sm−Mfθ（gn，xn）b（m）. 公司简介.（四）θθˆ注意，正则化器fθ2不仅使网络f θ具有低复杂度，而且使网络fθ具有低复杂度。 引导像素值，而且W.R.T. 空间位置。在实践中，我们发现它是有益的-faint训练强度gn和坐标xn的单独分支，然后通过添加它们的动作来合并，如图1B所示3 .第三章。有了这个架构，它也是可以通过设置单独的超参数λg，λx，λhead来不同地正则化每个分支。 这是方便①G中两个或两个以上相同组织块的病理情况除外不同的源值。线性+ReLU线性+热鲁热鲁正+ +线性线性线性+线性ReLU88334. 实验结果在下文中，我们分析了所提出的像素到像素变换方法在两个不同数据集上的性能，并将其与三种最先进的引导超分辨率方法以及两个基线进行比较。评估设置在所有实验中，我们将目标分辨率设置为2562像素。我们在不同的上采样因子，即×4，×8，×16和×32下评估了算法，对应于8834分别设置为642、322、162和82的源分辨率。我们测试了两个不同的应用，超分辨率深度和超分辨率植被高度所提出的方法。对于深度，我们使用2005年版本的Middlebury基准[25，9]的数据对于植被高度，测试集由40张来自瑞士国家森林清单的地图组成[6]（我们使用出版后发布的更新版本）。作为指导图像，我们使用来自欧空局哨兵-2卫星2的多光谱图像卫星传感器以三种不同的分辨率记录了13个通道，我们将自己限制在具有每像素10米的最高分辨率的四个通道上，这些通道以蓝色、绿色、红色和近红外记录。在这两种情况下，源图像都是通过使用适当的缩放因子对地面实况目标进行下采样来生成的作为基线，我们一方面采用朴素的双三次插值，没有引导图像;另一方面采用经典的引导滤波器[8]。我们进一步比较两个国家-在引导超分辨率的实际应用中，需要大量标记的训练数据是一个真正的问题，也是一个严重的限制。对于我们的方法，我们在32个低分辨率像素/块的批次上训练映射fθ，使用ADAM优化器[12]，学习率为0.001。我们将图像值居中，并将它们归一化为源图像和引导图像的单位标准偏差 如果指南有多个通道，我们将分别对它们进行标准化。像素颜色-将坐标xn重新缩放到区间[−0. 5，0。5]。我们训练了32，000实施者-我们的方法可以在线获得6。作为定量误差指标，我们使用均方误差（MSE）和平均绝对误差（MAE），两者都是各自数据集的原始单位（深度的像素差异，树高的米）。此外，我们还测量了[7]中定义的坏像素百分比（PBP）：用于引导超分辨率的最先进的方法，即快速双边求解器（FBS）[2]和静态-动态滤波器（SD）[7]。对于前者，我们使用了作者PBPδ=1ΣΣN2NΣ|n−n|>δ（六）的分段4到Python，并修改了优化的数据保真度项，以匹配Eq.（一）. 我们根据作者的指导原则选择FBS和SD参数，并在所有实验中我们已经验证了定量结果与原始出版物一致。我们比较的最后一种方法是最近的监督学习算法MSG-Net[11]，也是作者我们认为，如果不容易以目标分辨率记录大量数据（例如，无法以合理的成本制作10米分辨率的大比例植被高度图）。因此，我们遵循来自文献[26，15]的常见过程：在上采样模型在一定程度上尺度不变，可以对可用的M×M进行下采样数据，以获得用于以下的合成训练数据：×D 上 采 样 。 然 后 ， 在 测 试 时 ， 将 针 对 上 采 样（M/D）2→ M2训练的模型应用于实际的超分辨率任务M2→ N2。 我们发现，由于重复下采样，[11]提供的数据并不因此，我们还使用了[ 24 ]的训练数据。总的来说，我们在5 '000张深度图像和8' 000张植被高度图像上训练MSG-Net。尽管如此，这些数据仍不足以训练大于× 8的因子。 实际上-2哥白尼哨兵2016年数据，由欧空局处理。电子邮件地址：scihub.copernicus.eu/其中对于视差δ=1像素，并且对于植被δ=3米。高度。分析在本小节中，我们分析了通过我们的方法学习的映射，并说明了正则化的影响。首先，我们可视化映射函数fθ。在图4中，我们绘制了在不同图像位置xn处引导中的强度gn与目标图像中的深度tn之间的学习依赖性。在接近不连续性的地方，函数有一个陡峭的斜率，因为网络学会了将大的输入转换将强度变化转化为大的深度变化，以便与在源图像中以较粗分辨率看到的深度变化一致当人们离开不连续性并进入其右侧的均匀深度区域时，网络响应消失，表明指南的所有颜色都应转换为类似的深度值。 这张图很好地说明了我们的算法再现尖锐边缘的能力背后的机制：对映射函数f θ施加平滑度与对目标输出施加平滑度非常不同。函数fθ确实变化缓慢，并且在最左边的两个位置具有相似的形状但是，由于该形状对应于陡峭的梯度，因此两个位置处的深度非常不同。调整映射函数而不是输出图像对于图像内容的变化更加鲁棒图5描绘了改变正则化参数λg、λx和λhead的效果。该图显示了四种情况：3https://github.com/poolio/bilateral_solver4https://github.com/bsham/SDFilter5https://github.com/twhui/MSG-Net6https://github.com/riccardodelutio/PixTransform8835图4：位置相关映射函数fθ的图示。制导地面实况目标x= 0.0， g=头部= 0.1g= 0.0， x=压头= 0.1图5：不同正则化设置的图示（上采样因子×8）。在没有正则化的情况下，网络fθ具有比所需更多的容量，并且对指南中的强度对比度反应过度如果一个人过度自律，这种行为就会被放大-仅限larises w.r.t.位置xm，从而迫使fθ主要基于颜色值gm输出。相反，仅对w.r.t.GM使得网络忽略向导的颜色，导致模糊的输出。在右下角，正则化权重被设置为合理的折衷：λg=10−3，λx=λhead= 10−4。 这些是我们所有实验中使用的设置深度超分辨率如通常所做的那样，我们在视差（逆深度）空间中运行超分辨率。在表1中，我们示出了深度数据集中的图像上的三个误差度量MSE、MAE和PBP的平均值和标准偏差，上采样因子为×4、×8、×16和×32。对于一个×4的上采样因子，所有的方法都能达到相似的性能.MSG-Net因具有非常低的MSE而脱颖而出，可能是因为它在巨大的训练集上进行了优化，以最小化这个错误。SD滤波器在鲁棒性方面具有轻微的优势，并且达到最低的MAE和PBP。值得指出的是，即使是朴素的双三次上采样也是竞争性的，即，通过适度的×4进行上采样是相当容易的问题，对于该问题，引导图像仅具有有限的效果。对于较大的上采样因子，我们的方法优于所有其他w.r.t.这三个指标。我们无法对大于×8的因子运行MSG-Net，因为在对低分辨率源图像进行下采样后没有留下足够的训练数据图6a示出了针对上采样因子X8的深度上采样结果。虽然我们的方法平均达到最好的结果，为这项任务1-我们然而，我们的输出明显更清晰，更好地保留了不一致性，连续性图像的右上角示出了特别困难的情况，其中对比度高，并且附近的像素具有相似的颜色，但是深度不同。在这种情况下，几种方法，包括我们的方法，表现出过度依赖于引导图像和产生虚假深度图案的倾向。在这种情况下，输出的附加调节，例如，有一个总的变化之前，可能是有帮助的。图6b示出了通过因子×32进行深度上采样的结果。可以看出，我们的方法大大优于竞争对手。它不仅实现了更低的MSE，而且所产生的图像也清晰得多，更少的文物。特别注意底部的两个细棒，只有我们的方法才能达到合理的重建质量。另一个令人印象深刻的特点是在图像中间的孔重建。虽然边界可以从向导转移并不令人惊讶;但值得注意的是，通过看到前景的红色、对象外部背景中的白色以及源中两者的面积加权深度平均值，网络能够提取足够的信息来选择孔中的正确深度。高达32倍的超分辨率显然将事情推向了可能的极限，并且并非所有图像都能达到令人满意的结果。 图7示出失败的案例引导图像具有大量纹理细节，以及具有相同颜色但不同深度的附近像素目标仍然与源一致，并且包含真实的深度边界，但是我们的方法也在不应该有深度不连续的地方传输了很多虚假的纹理细节或许可以缓解这个问题但是可能没有通过更强的正则化完全解决植被高度表2再次显示了植被高度数据集图像上的三个误差度量的均值和标准差，上采样因子为×8、×16和x= g=头部= 0.0g= 0.001， x=头部= 0.00018836a. 深度×8b。深度×32c。植被×8d。植被×32引导引导引导输入目标输入目标输入目标双三次（MSE=40.9）GF（MSE=45.5）双三次（MSE=246.3）GF（MSE=234.3）双三次（MSE=19.8）GF（MSE=20.4）双三次（MSE=89.8）GF（MSE=87.8）FBS（MSE=73.4）SD滤波器（MSE=46.3）FBS（MSE=205.8）SD滤波器（MSE=20795.8）FBS（MSE=25.6）SD滤波器（MSE=21.5）FBS（MSE=114.1）SD滤波器（MSE=226.3）MSG-Net（MSE=23.0）我们的（MSE=33.3）我们的（MSE=62.6）MSG-Net（MSE=20.0）我们的（MSE=15.5）我们的（MSE=33.8）图6：不同引导超分辨率方法的定性结果。×32。在该数据集上，大多数方法（包括双三次上采样）在上采样因子× 8时仍具有相当的性能，可能是因为植被高度图通常比深度图更平滑。视觉上，我们的方法再次明显更清晰，并恢复更多的高频细节比它的竞争对手，见图。6c-d。至于深度的情况下，我们的方法优于他人的相当大的幅度，在更高的上采样因子，在所有三个指标。图6c示出了以因子×8进行植被上采样的结果。虽然MSE值没有那么不同，但我们的方法与所有其他方法之间存在明显的质的差异最接近的一个是味精网，但即使在看到成千上万的低-在训练过程中，由于分辨率/高分辨率对，网络无法完全恢复高频细节，并且错过了许多精细结构。FBS产生相当尖锐的不连续性，但对分段恒定输出有偏差，使得许多精细细节也丢失。从某种意义上说，除了我们的方法之外，所有的方法都失败了，因为它们在没有引导图像的情况下执行类似于双三次插值，甚至更糟。图6d显示了×32的极端情况的示例上采样该示例说明了通过放大低分辨率源图像开始，不能弥合如此大的分辨率差异，产生输入的平滑版本。相反，我们的方法，它更强烈地依赖于引导图像，在这个困难的情况下闪耀。在从图像域到植被高度的像素到像素变换中，没有空间细节丢失。 虽然看起来即使是AV-在32×32像素的大块上的平均值提供了足够的信息来约束目标域。显然，这种极端超分辨率是否可行还取决于图像的性质在遥感图像的情况下，函数fθ主要由指南的颜色gn驱动，只有很小的空间变化。尽管如此，这并不令人惊讶高度0 m在森林外被正确地恢复，这在很大程度上对应于向导的语义分割;令人高兴的是，在森林区域内，高度变化的大部分也被正确地重建（图1B中的黄色到绿色色调）。（见第6d段）。5. 结论我们提出了一种新的，无监督的方法，引导超分辨率。其关键思想是将问题视为高分辨率向导图像到低分辨率源图像域的逐像素变换通过选择8837双三法国[8]法国国家银行[2]SD滤波器[7]MSG-Net [11]我们MSE6.5（11.5）7.3（13.0）6.6（10.9）5.5（9.9）1.9（3.0）5.0（8.6）×4Mae0.6（0.5）0.8（0.6）0.8（0.5）0.4（0.4）0.4（0.2）0.5（0.3）PBPδ=17.5（5.8）12.3（8.4）14.3（9.4）4.5（3.8）6.0（4.9）6.9（5.1）MSE12.2（21.9）10.2（18.5）11.9（18.5）15.1（27.4）8.3（11.2）5.6（9.7）×8Mae1.0（0.9）1.0（0.9）1.3（0.9）0.7（0.7）1.4（0.5）0.6（0.4）PBPδ=114.6（10.0）16.3（10.8）29.9（16.6）9.1（7.1）43.7（8.5）8.8（6.8）MSE26.5（48.7）21.6（40.9）19.3（34.9）115.5（369.7）-8.4（14.9）×16Mae1.9（1.8）1.7（1.6）1.8（1.5）1.3（1.5）-0.9（0.7）PBPδ=127.3（15.8）26.8（15.4）38.8（19.3）18.7（12.5）-15.5（10.9）MSE54.1（95.2）49.7（88.3）40.2（72.3）1343.3（3374.5）-26.0（42.9）×32Mae3.3（2.9）3.2（2.8）3.0（2.5）2.7（2.6）-2.0（1.7）PBPδ=144.9（21.6）45.0（21.7）50.6（22.5）37.2（19.4）-36.3（20.6）表1：针对不同的上采样因子值，与深度图数据集上的最新算法的性能比较表格显示了MSE（以像素2计）、MAE（以像素计）和PBP（以%计）的所有图像的平均值和（标准偏差）双三法国[8]法国国家银行[2]SD滤波器[7]MSG-Net [11]我们MSE18.1（13.3）19.0（14.1）28.2（24.8）20.7（15.8）17.9（13.3）17.6（15.1）×8Mae2.4（1.5）2.5（1.7）3.1（2.2）2.4（1.6）2.3（1.5）2.1（1.5）PBPδ=326.2（19.2）28.2（21.4）32.3（25.0）26.8（19.8）26.1（19.3）23.5（18.2）MSE29.1（22.5）27.7（21.1）33.7（27.8）45.1（45.4）-19.7（17.2）×16Mae3.1（2.1）3.1（2.1）3.5（2.5）3.8（2.2）-2.3（1.7）PBPδ=333.0（24.4）33.7（25.5）36.9（28.0）34.2（25.6）-24.2（18.9）MSE41.5（33.6）40.2（32.6）42.3（34.4）160.0（228.3）-21.2（17.5）×32Mae4.0（2.8）3.9（2.8）4.1（2.9）4.2（3.0）-2.6（1.8）PBPδ=339.1（29.4）39.3（29.8）42.0（31.8）40.9（30.7）-29.2（22.4）表2：针对不同的上采样因子值，在植被高度图数据集上与最先进算法的性能比较。表格显示了所有图像的MSE（单位：m2）、MAE（单位：m）和PBP（单位：%）的平均值和（标准差）。引导源地面实况目标预测8838图7：我们的方法失败的×32超分辨率示例。预测的目标被来自高度纹理化的引导的大量高频细节破坏。多层感知器作为映射函数，我们模型中的推理与将仅具有（1×1）内核的CNN拟合到指南相同，其中损失函数是下采样输出和源形象我们的模型的优点是，通过消隐，它避免了所有不必要的模糊。一方面，它不涉及通过插值对源图像的任何上采样。另一方面，超分辨目标图像的重建在映射函数的水平上被正则化，在CNN的精神下，通过将相同的因此，即使在高上采样因子下，我们的方法也能够恢复非常精细的结构和非常尖锐的边缘，从而开创了新的技术水平。在未来的工作中，我们希望扩展该方法，不仅处理粗源图像的超分辨率，而且处理稀疏源图像的修复，以便从稀疏的野外样本中恢复8839引用[1] 乔纳森·T.Barron，Andrew Adams，YiChang Shih，andCar-losHer na'ndez. 最 后 的 双 边 空 间 立 体 合 成 散 焦 。CVPR，2015。[2] 乔 纳 森 ·T. 巴 伦 和 本 · 普 尔 。 快 速 双 边 求 解 器 。 在ECCV，2016年。[3] Derek Chan，Hylke Buisman，Christian Theobalt，andSebastian Thrun.用于实时深度上采样的噪声感知滤波器。在多相机和多模态传感器融合算法和应用研讨会-M2 SFA 2，2008年。[4] James Diebel和Sebastian Thrun。马尔可夫随机场在距离传感中的应用。在NIPS，2006年。[5] 大卫·弗斯特，克里斯蒂安·莱因巴赫，雷内·兰夫特，马蒂亚斯·鲁瑟和霍斯特·比肖夫。使用各向异性总广义变分的图像引导深度上采样InICCV，2013.[6] Christian Ginzler和Martina L.霍比在瑞士国家森林资源清查框架内进行全国遥感，2015年。[7] Bumsub Ham，Minsu Cho，and Jean Ponce.使用非凸势的鲁棒引导图像滤波。TPAMI，2018年。[8] 何开明，孙建，唐晓鸥。引导图像滤波。TPAMI，2013年。[9] 海科·赫施穆勒和丹尼尔·沙尔斯坦。立体匹配代价函数的评估。CVPR，2007。[10] Asmaa Hosni ， Christoph Rhemann ， Michael Bleyer ，Carsten Rother，and Margrit Gelautz.快速的成本-体积过滤，用于视觉对应和超越。TPAMI，2013年。[11] Tak-Wai Hui，Chen Change Loy，and Xiaoou Tang.通过深度多尺度引导实现深度图超分辨率。在ECCV，2016年。[12] Diederik P. Kingma和Jimmy Lei Ba。Adam：随机最佳化的方法。2015年，国际会议[13] 放大图片作者：Michael F.科恩，丹尼·利辛斯基和马特·乌滕代尔。联合双边上采样。ToG，2007年。[14] HyeokHyen Kwon，Yu-Wing Tai，and Stephen Lin.通过多尺度稀疏表示的数据驱动深度图细化CVPR，2015。[15] 拉纳拉斯，迪亚斯，加利亚尼，巴尔萨维亚斯，辛德勒。Sentinel-2图像的超分辨率：学习全局适用的深度神经网络。ISPRS Journal of Photogrammetry and RemoteSensing，2018。[16] Yijun Li，Jia-Bin Huang，Narendra Ahuja，and Ming-Hsuan Yang.深度联合图像滤波。在ECCV，2016年。[17] Yijun Li，Jia-Bin Huang，Narendra Ahuja，and Ming-Hsuan Yang.联合图像滤波与深度卷积网络。TPAMI，2019。[18] Yanjie Li ， Tianfan Xue ，Lifeng Sun ，and JianzhuangLiu.联合基于示例的深度图超分辨率。载于ICME，2012年。[19] Ming-Yu Liu，Oncel Tuzel，Yuichi Taguchi.深度图像的联合测地线上采样。CVPR，2013。[20] 马紫阳，何开明，魏一晨，孙健，吴恩华.用于立体匹配及其他的恒定时间加权中值滤波。InICCV，2013.[21] Kolya Malkin 、 Caleb Robinson 、 Le Hou 、 RachelSoobitsky 、 Jacob Czawlytko 、 Dimitris Samaras 、 JoelSaltz、Lucas Joppa和Nebojsa Jojic。标记超分辨率网络。2019年，在ICLR[22] 放 大 图 片作 者 ：Jaesik Park ， Hyeongwoo Kim ， Yu-Wing Tai，Michael S.布朗，和Inso Kweon。用于3D-TOF相机的高质量深度图上采样。见ICCV，2011年。[23] GeorgPetschnigg ， RichardSzeliski， ManeeshAgrawala，Michael Cohen，Hugues Hoppe，and KentaroToyama.具有闪光和无闪光图像对的数字摄影。ToG，2004年。[24] GernotRie gler ， Da vidFerstl ， MatthiasRuüther ，andHorstBischof.用于引导深度超分辨率的深度原始-对偶网络在BMVC，2016年。[25] Daniel Scharstein和Chris B.J.学习立体声的条件随机场。CVPR，2007。[26] Assaf Schocher ， Nadav Cohen ， and Michal Irani. 在CVPR，2018年。[27] 卡洛·托马西和罗伯托·曼杜奇。灰度和彩色图像的双边滤波。载于ICCV，1998年。[28] 德米特里·乌里扬诺夫，安德烈·维达尔迪，维克多·伦皮茨基。深度图像先验。在CVPR，2018年。[29] 杨靖宇，叶新晨，李坤，侯春平，王尧。使用自适应自回归模型从RGB-D数据进行颜色引导的深度恢复TIP，2014年。[30] Qingxiong Yang ， Ruigang Yang ， James Davis ， andDavid Nister.深度图像的空间-深度超分辨率。CVPR，2007。