RGBD图像的深度超分辨率改善及应用

5653感知深度超分辨率Oleg Voynov1，Alexey Artemov1，Vage Egiazarian1，AlexanderNotchenko1，Gleb Bobrovskikh1，2，Evgeny Burnaev1，Denis Zorin3，11斯科尔科沃科学技术学院，2高等经济学院3纽约大学{oleg.voinov，a.artemov，vage.egiazarian，alexandr.notchenko}@skoltech.ru，bobrovskihg@gmail.com，e. skoltech.ru，dzorin@cs.nyu.eduadase.group/3ddl/projects/perceptual-depth-sr摘要RGBD图像结合了来自各种类型深度传感器的高分辨率颜色和低分辨率深度可以通过利用颜色信息来显著提高深度图的分辨率;深度学习方法使得组合颜色和深度信息特别容易。然而，融合这两个数据源可能会导致各种工件。如果使用深度图来重建三维形状，对于虚拟现实应用，上采样图像的视觉质量是特别重要的。我们的方法的主要思想是使用生成的3D表面的渲染来测量深度图上采样的我们证明了一个简单的基于视觉外观的损失，当与训练的CNN或简单的深度先验一起使用时，会产生显着改善的3D形状，如通过许多现有的感知度量所测量的。我们将这种方法与一些现有的优化和基于学习的技术进行比较。1. 介绍RGBD图像越来越普遍，因为传感器技术变得更加广泛可用和负担得起。它们可用于重建物体的3D形状深度分量的质量越好，重建越可靠。不幸的是，对于大多数深度采集方法，深度分量的分辨率和质量不足以进行精确的表面重建。由于RGB分量的分辨率通常高几倍并且在彩色图像的结构特征和深度图之间存在高度相关性（例如，对象边缘），很自然地将彩色图像用于深度图超分辨率，即，深度图的上采样。卷积神经网络地面实况结果1结果2图1：中间的视觉上较差的超分辨率结果根据直接深度偏差得到较高分数，但根据3D表面的渲染图像的感知偏差得到较低分数虽然表面差异很大，但相应的深度图并没有捕捉到这种差异，看起来几乎相同。是解决这个问题的天然方法，因为它们可以很容易地融合异质信息。任何上采样方法的关键方面是其优化的质量的测量（即，损失函数），无论该技术是否是数据驱动的。在本文中，我们专注于应用程序，需要重建的3D几何可见的用户，如虚拟或增强现实和计算机图形学的现实3D场景的采集。在这些应用中，所得到的3D形状的视觉外观，即，当在各种照明条件下观察时，表面看起来如何是特别重要的。现有的深度超分辨率研究大多局限于基于深度值逐点偏差的简单测量。然而，深度图的直接逐点差异并不捕获深度图之间的视觉差异。DSSIM 0.094DSSIM 0.965RMSE 99毫米RMSE 46毫米深度表面5654对应的3D形状：例如，如图1所示，深度的低幅度高频变化可以对应于外观上的显著差异，而相反地，深度上相对大的平滑变化在感知上可能不太相关。因此，我们建议直接比较表面的渲染图像而不是深度值。在本文中，我们探索深度图超分辨率使用一个简单的损失函数的基础上的视觉差异。我们的损失函数可以有效地计算，并显示出与更精细的感知指标高度我们证明了这个简单的想法与两个基于深度学习的RGBD超分辨率算法一起使用，根据感知度量和非正式感知研究，视觉质量得到了显着改善我们将我们的结果与六种最先进的深度超分辨率方法进行了比较，这些方法基于不同的原理并使用几种类型的损失函数。概括而言，我们的贡献如下：（1）我们证明了用于深度图比较的简单且有效的基于视觉差异的度量一方面可以容易地与基于神经网络的全图像上采样技术相结合，并且另一方面与针对人类视觉的已建立代理相关联，相对于实验测量进行了验证;(2)我们通过广泛的比较证明，通过使用该度量，深度图超分辨率的两种方法（一种基于可训练CNN，另一种基于深度先验）产生了由多个感知度量测量的高质量结果。据我们所知，我们的论文是第一篇系统地研究基于视觉差异的深度超分辨率在各种数据集、方法和质量度量（包括基本的人类评估）中的性能的论文。在整个论文中，我们使用术语深度图来指代RGBD图像的深度分量，并且术语法线图指代具有相同分辨率的图，其中3D表面法线方向是从每个像素处的深度图计算的。最后，深度图的渲染是指通过构建由深度图表示的高度场的3D三角测量，经由从该三角测量计算法线图，并使用固定的材料特性和照明的选择来渲染它而获得的灰度图像。这不同于通常使用的深度图可视化，其中灰度值通过简单缩放从深度值获得。我们将在第3节中对此进行更详细的描述。2. 相关工作2.1. 图像质量测量质量测量在图像超分辨率中起着两个重要作用：一方面，他们习惯于公式化，另一方面，它们被用于评估结果的质量。理想情况下，同一个函数应该同时满足这两个目的，然而，在某些情况下，选择不同的函数进行评估和优化可能是最佳的在前一种情况下，首要任务是捕捉应用程序的需求，而在后一种情况下，评估的效率和可区分性是重要的考虑因素。在大多数关于深度图重建和上采样的工作中，使用了有限数量的简单度量，用于优化和最终评估。典型地，这些是深度偏差的缩放L2或L1范数（参见例如，[9]）。在[ 19，20 ]中引入的另一组测量并且主要用于评估，而不是优化或学习，包括深度图几何形状的各个方面的启发式测量：前景变平/变薄、模糊、凹凸等。他们中的大多数需要一个非常具体的分割的图像检测平面区域和深度不连续性。视觉相似性度量，在照片处理领域建立良好，旨在与人类判断一致，在相似性排序的意义上（两个图像中哪一个更类似于地面真实？）. 示例包括（1）基于结构相似性SSIM [51]，FSIM [56]，MSSIM [52]的简单视觉模型的度量，(2)基于低级视觉处理的复杂模型[35]，或（3）卷积神经网络（详细概述见[57]）。后者使用一个简单的距离测量的深度特征学习的图像理解任务，例如。L2距离的特征学习图像分类，并已被证明优于统计措施，如SSIM。2.2. 深度超分辨率深度超分辨率与许多深度处理任务密切相关，例如去噪、增强、内画和致密化（例如，[5、6、8、21、33、34、45、46、54]）。我们直接关注超分辨率的问题，或者更具体地，从单个低分辨率深度图和高分辨率RGB图像估计高分辨率深度图。在高级计算机视觉任务中，卷积神经网络在基于学习的方法中取得了最令人印象深刻的性能，最近已应用于深度超分辨率[22，30，39，43]。一种方法[22]是通过显式添加来自高分辨率RGB数据的高频特征来另一种混合方法[39，43]是将后续优化阶段添加到CNN以产生更清晰的结果。基于CNN的照片引导深度超分辨率的不同方法包括使用CNN衍生内核的线性滤波[26]，飞行时间深度和立体图像的深度融合[1]，以及生成5655对抗网络[61]。这些技术使用深度差的L2或L1[ 61 ]最近的方法与我们的方法最接近：它使用梯度差作为损失项之一来捕获一些视觉信息。为了进行评估，这些工作报告了均方根误差（RMSE），平均绝对误差（MAE），峰值信噪比（PSNR），所有这些都直接应用于深度图，并且很少[4，43，44，61]，感知SSIM也直接应用于深度图。相比之下，我们建议测量深度图渲染的感知质量。词典学习也被深入超分辨率[11，13，29]，然而，与CNN相比它通常被限制为较小的尺寸，并且因此被限制为结构上更简单的深度图。变分方法旨在通过仔细设计优化泛函来显式地组合RGB和深度信息，而不依赖于学习。大多数相关示例采用单图像[14]或多图像[38]深度超分辨率的阴影恢复形状问题陈述。这些工作包括视觉差异相关的条款，在优化的功能和报告正常偏差，捕获视觉相似性。虽然在许多情况下显示出令人印象深刻的结果，但它们通常需要对前景对象进行预先分割，并且在很大程度上取决于这种分割的质量。解决超分辨率中的模糊性的另一种策略是设计复杂的正则化器以平衡数据保真度项与结构图像先验[15，24，55]。与这种需要定制手工制作的正则化目标和优化过程的方法相反，我们专注于标准训练策略（即，CNN的基于梯度的优化），同时使用捕获视觉相似性的损失函数。另一种方法是选择精心设计的模型，如[62]，其特征在于在最小生成树空间中定义的复杂度量，并包括显式边缘不一致模型。与我们的模型不同，这种模型需要手动调整多个超参数。2.3. 感知照片超分辨率感知度量在照片处理的背景下被更广泛地考虑虽然使用简单均方或平均绝对颜色偏差训练的用于照片超分辨率的卷积神经网络保持展示令人印象深刻的结果[16，18，58，59]，但人们已经广泛认识到彩色图像数据的像素差异与感知图像差异并不相关因此，依赖逐像素颜色误差可能导致次优性能。一种解决方案是使用由神经网络的特征偏差图2：使用我们用于度量计算的四个光线方向生成的深度图渲染。接受图像理解任务培训的工作[25]。这个想法可以进一步与对抗训练过程相结合，以将超分辨率结果推送到自然图像流形[28]。这个想法的另一个扩展是训练神经网络生成具有统计特征自然分布的图像[12，36，49，50]。为了平衡感知质量和像素色彩偏差，可以使用生成对抗网络[7，31，48]。另一种解决方案是从人类受试者研究中收集的感知分数中学习质量度量，并将此质量度量用作损失函数。这种质量度量可以捕获两个图像的相似性[57]或图像的绝对自然度[32]。3. 度量在本节中，我们将讨论基于视觉的指标，以及它们如何用于评估深度图超分辨率的质量和作为损失函数。我们遵循的一般原则是将比较度量应用于深度图的渲染，这种方法的困难在于，根据照明条件、材质属性和相机位置，有无限多种可能的渲染然而，我们证明，即使是一个非常简单的渲染过程已经产生了显着改善的结果。我们用下标“v”标记基于视觉的从深度图到视觉表现。为了近似地描绘具有一定深度图的3D场景的外观，我们使用简单的渲染过程。我们用单色定向光源照明相应的3D表面，并用最初获取场景的同一相机观察它。我们使用漫反射模型，不考虑可见性。对于该模型，渲染I的像素（i，j）的强度与对应于像素nij的表面点处的法线与 光 源 e 的 方 向 之 间 的 角 度 的 余 弦 成 比 例 ： Iij=e·nij。我们使用一阶有限差分从深度图计算法线可以使用任何数量的向量e来生成表示深度图的渲染的集合，然而，可以获得任何渲染作为深度图的集合。565622对应于独立光方向的三个基的线性组合。不同光线方向的效果图如图2所示。感知指标。我们简要描述两个代表性指标：一个是基于 神 经 网 络 的 LPIPS ， 另 一 个 是 基 于 神 经 网 络 的DSSIM。这两种方法中的任何一种都可以应用于三个基础渲染（或更大的渲染样本），并减少以获得最终值。虽然原则上它们也可以用作损失函数，但损失函数的选择需要考虑稳定性和效率，因此我们选择下面描述的更保守的选择结构相似性指数测度（SSIM）[51]考虑了图像局部结构的变化，通过在每个像素周围的小窗口上计算的统计量来捕获。对于组合图像Ik，k=1，2的每对像素，使用对应局部窗口中像素的均值μk、标准偏差σk和互协方差σ12计算亮度项μ k、对比项c和结构项sSSIM的值然后按像素计算，随着DSSIM随着我们的损失DSSIM 0.254DSSIM 0.396图3：与我们更简单的损失函数相比，使用DSSIM作为损失函数的优化可能会产生比DSSIM本身更差的结果深度图dk的可能渲染可以被计算为正交基e1、e2、e3中的三个基渲染em·nk的平均均方根偏差√RMSE（d，d）= MSE（d，d），这些项v121Σv12（三）=2µ1µ2µ2+µ2 ，c=2σ1σ2σ2+σ2σ12，s=，σ1 σ2MSEv（d1，d2）=3Nij，mem·n1，ij−em·n2，ij1 2 1 21Σ（一）类似于法线贴图的RMS差。SSIMv（I1，I2）=Nij·cij·sij，IJ我们发现，这个简单的深度图比较指标-ison作为损失函数是有效和稳定的，并且在其中N是像素的数量相异性度量可以计算为DSSIMv（I1，I2）=1−SSIMv（I1，I2）。基于神经网络的度量依赖于测量从神经网络提取的特征之间的距离的想法具体来说，特征映射xk = 1，k= 1。. . 对于每个比较图像，从网络的L层中提取具有空间尺寸H_n× W_n的L。在最简单的情况下，度量值计算为要素图的逐像素均方差，在各层上求和同时，正如我们在第5节中所证明的，它与DSSIM和LPIPS有很好的相关性，即，一个度量的值高而另一个度量的值低的情况是不可能的。我们的实验证实，该指标的优化也提高了两个感知指标。4. 方法我们根据不同的原理选择了八种具有代表性的最先进的深度处理方法：（1）aΣNNv（I1，I2）=ℓ1HWΣx1（二）IJ纯变分方法[14]，（2）使用高分辨率边缘图的双边滤波方法[53]，（3）Dictionary学习方法[13]，（4）混合CNN-变分学习感知图像块相似性（LPIPS）[57]将学习的通道加权添加到上述公式中，并使用Alexnet[27]或VGG [41]中的5层或Squezenet [23]中的第一层作为选择的CNN。我们基于视觉差异的度量。虽然上述度量是深度图渲染之间的差异的人类评估的良好代理，但由于其复杂的景观，它们用DSSIM作为损失函数的优化可能产生实际上比DSSIM本身差的结果，与我们下面定义的更简单的损失函数相比，如图3所示。LPIPS具有神经网络典型的复杂能量分布，并且将一个神经网络作为另一个神经网络的损失函数可能会表现出不可预测的行为[60]。最简单的度量捕捉所有方法[39]，（5）纯CNN [22]，（6）零拍摄CNN [47]，（7）致密化[34]和（8）增强[54] CNN。我们的目标是（a）修改使用基于视觉差异的损失函数的方法，以及（b）将修改后的方法的结果与不同类型的替代方法进行在我们的实验中，最后两种方法与其他方法相比表现不佳，因此我们没有进一步考虑它们。我们发现，两种基于神经网络的方法（5）和（6），我们称之为MSG和DIP，可以很容易地进行修改，以便与基于视觉差异的损失函数一起使用，正如我们现在解释的那样。MSG[22]是一种深度学习方法，它使用不同的策略对低分辨率深度图的不同光谱分量进行上采样。在此方法的修改版本中，我们用MSG-V表示，我们将5657SR SRLRθ∗dθI1θCIMSRLRHR原始损失函数，结合我们的基于视觉差异的度量和拉普拉斯金字塔的平均绝对偏差Lap1[2]作为正则化器L（d1，d2）=Lap1（d1，d2）+w·MSEv（d1，d2）。（四）DIP[47]是一种零射击深度学习方法，基于一个显着的观察，即使没有任何专门的训练，CNN本身的结构也可以用来解决图像上的逆问题。我们注意到，这种方法自然允许同时进行超分辨率和修复。在这种方法中，深度超分辨率问题将被公式化为：d θ =CNNθθ，θ =arg min MSEd（Ddθ，d），（5）θ其中dLR和dSR是低分辨率和超分辨率深度图，CNNθ是由θ参数化的深度神经网络的输出，D是下采样操作符，并且MSEd是深度图的直接均方差。为了执行光引导的超分辨率，我们在网络度量和纹理复杂度。我们采用了四个数据集，在深度超分辨率的文献中最常见。ICL-NUIM[17]包括照片级逼真的RGB图像以及合成深度，没有任何采集噪声。Middle- bury 2014[40]，使用结构光系统捕获，为复杂的现实世界场景提供高质量的地面实况。SUN RGBD[42]包含使用四种不同的消费级RGBD相机拍摄的图像：英特尔Re-alSense，华硕Xtion，微软Kinect v1和v2。ToF-Mark[10]提供具有挑战性的真实世界飞行时间和强度相机采集以及来自结构光传感器的准确地面实况。此外，我们构建了一个合成SimGeo数据集，由6个几何简单场景组成，具有低频和高频纹理，并且使用Blender没有任何纹理SimGeo的目的是揭示与输入数据中的噪声或高频几何结构无关的伪影，例如由光滑表面上的颜色变化引起的虚假几何细节我们调整了每个RGBD图像的大小并将其裁剪为分辨率-SR（1）（二）分辨率为512×512，并生成低分辨率输入dθ=CNNθ，Iθ=CNNθ，θ=arg min MSE（Dd，d）+w ·搭接（I，I ），（6）θ其中，IHR是高分辨率照片制导，对于基于视觉的版本DIP-V，我们进一步用等式4的函数替换直接深度偏差MSEd。我们使用其余四种方法（1）-（4）进行比较，因为修改它们以获得不同的损失函数将需要对算法进行实质性更改。SRFS[14]是一种依赖于超分辨率和阴影恢复形状问题互补性的变分方法。它已经包括基于视觉差异的术语（其余方法使用深度差异度量）。EG[53]通过用马尔可夫随机场优化预测平滑的高分辨率深度边缘来解决这个问题。它不直接使用损失，因此不能容易地适应。DG[13]是基于字典学习的深度图增强方法，其使用基于深度差的保真度项。它做出了许多可能不适合不同损失函数的建模选择，并且通常不像基于神经网络的方法那样执行。PDN[39]是一种混合方法，具有两个阶段：第一阶段由全卷积层组成，并预测粗略的超分辨率深度图，第二阶段执行展开的变分优化，旨在产生清晰且无噪声的结果。5. 实验5.1. 数据为了进行评估，我们选择了一组具有代表性和多样性的34个RGBD图像，这些图像具有合成的，高质量的真实和低质量的真实数据，具有不同的地理位置。具有4和8的缩放因子的深度图，这在深度超分辨率的作品中最常见。我们重点讨论了两种下采样模型：盒子，即，每个低分辨率像素包含“框”相邻高分辨率像素上的平均值每个低分辨率像素包含最近的高分辨率像素的值。有关我们的评估数据和不同下采样模型结果的更多详细信息，请参阅补充材料。5.2. 评价详情为了量化这些方法的性能，我们测量了深度图的直接RMS偏差（由RMSEd表示）和它们的渲染与第3节中描述的metrics的偏差。对于基于视觉的度量，我们计算了三个正交光方向的值，对应于图2中最左边的三个图像，以及对应于最右边图像的附加光方向的值。然后我们取了四个值中最差的一个。有了类似的结果，我们还探索了不同的减少策略和一组不同的指标：BadPix和Bumpiness，直接应用于深度值，Bad- Pix和RMSE应用于单独的深度图渲染。此外，我们使用SimGeo、ICL-NUIM和Middlebury数据集的结果进行了一项非正式的感知研究，其中要求受试者选择看起来与地面实况最相似的上采样深度图的渲染。5.3. 实现细节我们评估了EG、DG和MSG的公开可用的训练模型，并使用公开可用的5658代码;我们使用了作者提供的SRFS的实现;如第4节所述，我们将公开可用的DIP实现用于深度图;我们在PyTorch中实现了MSG-V [37]，并使用来自Middlebury和MPI Sintel的补丁[3]根据原始论文对其进行了训练。我们选择等式（4）中的加权参数w的值，使得损失的两个项相对于它们的幅度贡献相等（更多细节参见补充材料）。5.4. 质量措施的比较为了量化不同度量如何表示超分辨率深度图的视觉质量，我们对这些度量的成对相关性进行了比较，并计算了皮尔逊相关系数的相应值由于LPIPS作为基于神经网络的感知度量已被实验证明能够很好地代表人类我们发现，基于直接深度偏差的度量表现出与感知度量的弱相关性，如图4中针对RMSEd所示，因此当视觉外观起重要作用时，不适合于测量深度图质量。另一方面，我们发现我们的RMSEv与感知指标相关性很好，它们彼此相关的程度相同（见图4）。5.5. 超分辨率方法的比较在表1和图5中，我们展示了SimGeo数据集的超分辨率结果，缩放因子为4;在表2和图6中，我们给出了ICL-NUIM和Middlebury数据集的结果，比例因子为4和8。在这两种情况下，我们都使用Box下采样模型请在补充材料或在线查找其他结果1.通常，我们发现方法EG、PDN和DG不能恢复表面的精细细节，与例如，双三次上采样、方法SRFS和原始DIP在光滑纹理表面的情况下遭受虚假几何伪影，并且原始MSG在深度边缘周围引入严重噪声。如图6和表2所示，来自先前工作的所有方法在具有缺失深度测量的区域（以黑色渲染）的图像上执行相对较差，包括显式地（SRFS，DG）或隐式地（DIP）修补这些区域的方法方法EG在某些图像上无法收敛。相比之下，我们观察到，我们的视觉差异为基础的损失到DIP和MSG的集成显着改善了定性和定量的两种方法的结果基于视觉差异的版本DIP-V不像原始版本那样遭受虚假几何伪影。在Middlebury数据集的具有挑战性的图像上，它同时执行超分辨率1 mega.nz/#F！yvRXBABI！pucRoBvtnthzHI1oqsxEvA！y6JmCajS和修复，DIP-V大多优于其他方法，如感知指标所测量的，并且在感知研究中被超过80%的受试者所偏好。与原始版本相比，基于视觉差异的版本MSG-V产生显著更少的噪声结果，在某些情况下几乎没有任何明显的伪影。在没有缺失测量的数据上，包括来自Middlebury 的 空 洞 填 充 的 在 SimGeo 、 ICL-NUIM 和Middlebury组合中，超过85%的受试者首选我们的改良版本DIP-V或MSG-V作为参考，在图5中，我们包括深度图的伪彩色可视化。注意，虽然用不同方法获得的上采样深度图在这种形式的可视化中几乎不可区分，但是通常在关于用于定性评估的深度处理的文献中使用，相应的渲染以及因此潜在的几何形状显著变化。6. 结论我们已经探索了深度图超分辨率与一个简单的基于视觉差异的度量作为损失函数。通过将该度量与各种视觉质量度量进行比较，我们已经证明，它可以被认为是深度超分辨率问题中人类感知的合理代理，重点是3D表面的视觉质量。通过对一系列合成数据和真实数据的几种深度处理方法进行广泛评估，我们已经证明，与常见的深度值直接像素偏差相比，使用此度量作为损失函数会产生显着改善的结果。我们将我们的指标与相对简单和非特定的深度学习架构相结合，并期望这种方法将有利于其他相关问题。我们主要讨论了单次规则采样的RGBD图像的情况未来的工作将是调整开发的方法，以更一般的采样的深度值的情况下，多个RGBD图像或点云注释的RGB图像的集合。确认这项工作得到了俄罗斯联邦教育和科学部的支持，批 准 号 为 。 14.615.21.0004 ， 授 权 代 码 ：RFMEFI61518X0004。作者承认使用Skoltech CDISE HPC集群Zhores获得本文中呈现的结果。56590.090.050.12RMSEvSRFS[14][第53话]PDN [39][第十三话]双三[第四十七话]DIP-V味精[22]MSG-VGTSRFS[14][第53话]PDN [39][第十三话]双三[第四十七话]DIP-V味精[22]MSG-VGT球体和圆柱体，x4露西，x4立方体，x4SimGeo平均值，x4RMSEd DSSIMv LPIPSv RMSEv RMSEd DSSIMv LPIPSv RMSEv RMSEd DSSIMv LPIPSv RMSEv RMSEd DSSIMv LPIPSv RMSEvSRFS[14]7088710254178281178136752934103636161711869311[第53话]55143326130693574262204311321410553168306136PDN [39]157198295150173456368251164156250145162224278165[第十三话]56265372166695235582494421841113954293420171双三57189313189723553982674413128716055197320193[第四十七话]469651062548538276153444596390653052887893395味精[22]41626859229544444802592944568717639374569194DIP-V28560766142444214462232635261314633313524147MSG-V999426796742052511561027017977969519499表1：SimGeo数据集的定量评价。RMSEd以毫米为单位，其他指标以千分之一为单位。较低的值对应于较好的结果。最好的结果用粗体表示，第二好的结果用下划线表示。十四点七十二点六1.21.0十点五0.8八点四60.30.640.20.420.10.200.2 0.4 0.6 0.81.00.20.40.60.81.01.20.10.20.30.40.50.60.70.20.40.60.81.00.20.40.60.81.01.20.20.40.60.81.0DSSIMvLPIPSvRMSEvDSSIMvLPIPS vDSSIMv图4：散点图显示了质量度量的相关性，以及角落中Pearson相关系数的相应值每个点代表一个超分辨率结果。图5：SimGeo中“Sphere and cylinder”和“Lucy”的超分辨率结果，缩放因子为4。深度图是伪彩色的，深度图渲染是灰度的。最好用彩色观看。0.850.57RMSEd，cm0.75LPIPSv5660SRFS[14][第53话]PDN [39][第十三话]双三SRFS[14]PDN [39][第十三话]双三[第四十七话]DIP-V味精[22]MSG-VGT[第四十七话]DIP-V味精[22]MSG-VGTSRFS[14]第53话PDN [39][第十三话]双三SRFS[14]PDN [39][第十三话]双三[第四十七话]DIP-V味精[22]MSG-VGT[第四十七话]DIP-V味精[22]MSG-VGTSRFS[14]第53话PDN [39][第十三话]双三SRFS[14]PDN [39][第十三话]双三[第四十七话]DIP-V味精[22]MSG-VGT[第四十七话]DIP-V味精[22]MSG-VGTSRFS[14]第53话PDN [39][第十三话]双三SRFS[14]PDN [39][第十三话]双三[第四十七话]DIP-V味精[22]MSG-VGT[第四十七话]DIP-V味精[22]MSG-VGT植物Vintage回收伞DSSIMvLPIPSvRMSEvDSSIMvLPIPSvRMSEvDSSIMvLPIPSvRMSEvDSSIMvLPIPSvRMSEvX4X8X4X8X4X8X4X8X4X8X4X8X4X8X4X8X4X8X4X8X4X8X4X8SRFS [14] 658692632649280309721749631634346382715772610623376410843853797831397443[第53话]568677255PDN [39]574612659699269305663714706700319350635701523589364457799828847882367452[第十三话]611622745785268291666669796840290300696719602617328383846878781856399457双三562610688763249290558649602729258302575721474576329398749837747886323380[第四十七话]919880764723490437953965910872656687871923576605434500915953737722467528味精[22]571645582495234285708785510610292364741869624661485550834896678787442496DIP-V694707463555262276804884579674343435575735388485273332796854604598318352MSG-V524575639720194236536643670702211268603737520564368473778842800890348427表2：ICL-NUIM和Middlebury数据集的定量评价。所有指标均以千分之一为单位。较低的值对应于较好的结果。最好的结果用粗体表示，第二好的结果用下划线表示。×4 ×8图6：深度图渲染对应于来自“ICL-NUIM”的“Plant”和来自Middlebury数据集的“Vintage”、“Recycle”和“Umbrella”的超分辨率结果，最好在大范围内观看。5661引用[1] Gianluca Basti ， Ludovico Minto ， Giulio Marin ， andPietro Zanuttigh.立体和tof数据融合中置信度信息的深度学习。在IEEE计算机视觉和模式识别会议论文集，第697-705页2[2] Piotr Bojanowski， Armand Joulin ，David Lopez-Pas，and Arthur Szlam.优化生成网络的潜在空间在Jennifer Dy和Andreas Krause，编辑，第35届机器学习国际会议的首 席 执 行 官 ， 机 器 学 习 研 究 论 文 集 第 80 卷 ， 第600PMLR。5[3] 放大图片作者：Daniel J. Butler，Jonas Wulff，Garrett B.Stanley和Michael J.黑色.一个用于光流评估的自然开源电影。以.菲茨吉本等人（编），编辑，欧洲会议 关于计算机视觉（ECCV），第IV部分，LNCS 7577，第611-625页。Springer-Verlag，Oct. 2012. 6[4] 陈宝良和郑哲坤。使用卷积神经网络的单深度图像超分辨率。2018年IEEE声学、语音和信号处理国际会议（ICASSP），第1473-1477页。IEEE，2018年。3[5] 赵晨，维贾伊·巴德里纳拉亚南，吉拉德·卓兹多夫，安德鲁·拉比诺维奇.从rgb和稀疏感知估计深度。CoRR，abs/1804.02771，2018。2[6] Xinjing Cheng，Peng Wang，and Ruigang Yang.通过卷积空间传播网络学习的亲和力进行深度估计在欧洲计算机视觉会议上，第108-125页。Springer，Cham，2018.2[7] Manri Cheon、Jun-Hyuk Kim、Jun-Ho Choi和Jong-SeokLee。使用感知内容损失的基于生成对抗网络的图像超分辨率 。在Laura Leal- Taixe 和Stefan Roth，编辑 ，ECCV研讨会，第51施普林格国际出版社. 3[8] Nathaniel Chodosh，Chaoyang Wang，and Simon Lucey.用于激光雷达深度补偿的深度卷积压缩感知arXiv预印本arXiv：1803.08949，2018。2[9] David Eigen、Christian Puhrsch和Rob Fergus。使用多尺度深度网络从单个图像进行深度神经信息处理系统的进展，第2366-2374页，2014年2[10] David Ferstl 、 Christian Reinbacher 、 Rene Ranftl 、Matthias Ruüther和HorstBischof。使用各向异性总广义变分的图像引导深度上采样在IEEE计算机视觉国际会议论文集，第993-1000页5[11] David Ferstl，Matthias Ruther，Horst Bischof.使用基于示例的边缘表示的变深度超分辨率。在Proceedings ofthe IEEE International Conference on Computer Vision，第513-521页，2015年。3[12] 穆哈·米德·瓦利德·贡达尔、伯恩哈德·斯科尔·科普夫和迈克尔·赫希。单幅图像超分辨率中纹理转移的不合理效果。在ECCV中，第80-97页。Springer，2018. 3[13] 古书航、左王梦、石果、陈云锦、陈崇宇、张磊。用于深度图像增强的学习动态引导InProceedings of theIEEE计算机视觉和模式识别会议，第3769-3778页，2017年。三四五七八[14] Bjoe rnHaefner ， Y vainQue' au ， ThomasMöllenhof f ，andDaniel Cremers.用病态来对抗病态：基于阴影的单次变深度超分辨率。在IEEE计算机视觉和模式识别会议论文集，第164-174页三四五七八[15] Bumsub Ham，Minsu Cho，and Jean Ponce. 使用非凸势的 鲁 棒 引 导 图 像 滤 波 。 IEEE transactions on patternanalysis and machine intelligence，40（1）：192-207，2018。3[16] Wei Han，Shiyu Chang，Ding Liu，Mo Yu，MichaelWitbrock，and Thomas S Huang.通过双状态递归网络实现图像超分辨率。在Proc. CVPR，2018中。3[17] 作者简介：陈文彬，陈文彬.戴维森RGB-D视觉里程碑 、3D重 建和 SLAM 的 基准 。在 IEEE Intl. Conf. onRobotics and Automation，ICRA，Hong Kong，China，May 2014. 5[18] MuhammadHarisGregShakhnarovich 和 NorimichiUkita。用于超分辨率的深反投影网络。在Proc. CVPR，2018中。3[19] Katrin Honauer，Ole Johannsen，Daniel Kondermann，and Bastian Goldluecke. 4d光场深度估计的数据集和评估方法。亚洲计算机视觉会议，第19-34页。施普林格，2016年。2[20] KatrinHonauer ， LenaMaier-Hein ， andDanielKondermann.HCI立体声度量：立体声算法的几何感知性能分析。在IEEE国际计算机视觉会议集，第21202[21] 甲申花、孝晋公。一种用于引导稀疏深度上采样的归一化卷积神经网络在IJ-CAI，第2283-2290页，2018年。2[22] Tak-Wai Hui，Chen Change Loy，and Xiaoou Tang.通过深度多尺度引导实现深度图超分辨率。欧洲计算机视觉会议，第353施普林格，2016年。二、四、七、八[23] 福雷斯特N.放大图片放大图片作者：Matthew W.放大图片作者：William J.达利和库尔特·库泽。Squeezenet：Alexnet级别的精度，参数减少50倍，…0.5MB模型大小。在IEEE计算机视觉和模式识别会议（CVPR），2016。4[24] 姜忠宇、侯永红、岳焕景、杨靖宇、基于变换和空域正则化的rgb-d对深度超分辨率IEEE Transactions on ImageProcessing，27（5）：25873[25] 贾斯汀·约翰逊，亚历山大·阿拉希，李飞飞。实时风格转换和超分辨率的感知损失。在ECCV，2016年。3[26] 金范俊，让·庞塞和范燮·汉姆。用于联合图像滤波的可变形核网络 工作文件或预印本，10月。2018. 2[27] 亚历克斯·克里热夫斯基、伊利亚·萨茨克弗和杰弗里·E·辛顿。使用深度卷积神经网络的图像网分类。神经信息处理系统的进展，第1097-1105页，2012年。45662[28] 克里斯·蒂安·莱迪格，卢卡斯·泰斯，费伦茨·胡斯阿尔，何塞·卡-巴莱罗，安德鲁·坎宁安，亚历杭德罗·阿科斯塔，安德鲁·艾特肯，阿利汗·特贾尼，约翰内斯·托茨，王泽涵和施文哲。使用生成对抗网络的照片逼真的单图像超分辨率。在Proc. CVPR，第105-11