基于学习动态引导的深度图像增强方法

3769基于学习动态引导的深度图像增强顾书航1，左王梦2，史国2，陈云锦3，陈崇宇4，1，张磊1，张1香港理工大学，2哈尔滨工业大学3ULSee Inc.，4中山大学。{shuhanggu@gmail.com，cswmzuo@gmail.com，cslzhang@comp.polyu.edu.hk}摘要由消费者深度传感器获取的深度图像（例如，Kinect和ToF）通常具有低分辨率和不足的质量。一个自然的解决方案是与高分辨率RGB相机结合，以利用它们的统计相关性。然而，大多数现有的方法都是直观的，并在表征强度和深度图像之间的复杂和动态的依赖性方面受到限制。为了解决这些局限性，我们提出了一种用于引导深度图像增强的加权分析表示模型，该模型在两个方面改进了传统方法(i)（二）学习导向;（三）动态学习。首先，我们概括了分析表示模型，包括一个指导权重函数的依赖建模。任务驱动的学习公式被引入到特定的增强任务，以获得第二，深度图像随着迭代而逐渐增强，因此引导也应该动态地调整以考虑深度图像的更新。为此，学习逐阶段参数以用于动态引导。对深度图像的引导上采样和含噪深度图像的恢复实验验证了该方法的有效性。1. 介绍高质量、高密度的深度图像在机器人、人机交互、增强现实等现实应用中起着重要的作用。横向深度感测主要基于立体或激光测量，其通常具有高计算负担或昂贵的价格。最近，消费者深度感测产品的广泛可用性，例如，RGB-D相机和飞行时间（ToF）范围传感器为密集深度测量提供了经济的替代方案。然而，由消费者深度传感器生成的深度图像通常本研究得到香港研究资助局基础研究基金（理大152124/15 E）及国家自然科学基金（资助编号61672446）的资助。质量不足，导致深度图像具有低分辨率、噪声或缺失值。深度图像增强已经收到相当多的最近的研究兴趣[38，15，4，28，6，20，24]。一种代表性的解决方案是利用来自同一场景的多个深度图像来重建高质量的深度图像[38，15]。然而，这些方法严重依赖于精确的校准，并且当应用于动态环境时可能失败。另一种流行的解决方案是将高质量彩色相机与深度传感器结合以用于深度图像增强[4，1，28，6，24]。对于大多数消费者深度传感器，高质量RGB图像通常可以与深度图像同时获取，使得利用彩色图像进行引导式深度图像增强非常实用和自然建立深度图像和灰度图像之间的依赖关系是深度图像增强的关键. 基于强度和深度图像之间的结构同现，已经使用滤波方法将显著结构从强度图像转移到增强的深度图[13，34]。 某些形式的目标函数也已被用于相 互 依 赖 建 模 ， 从 而 产 生 若 干 马 尔 可 夫 随 机 场（MRF）[4]、非局部均值[28]）和变分（例如，全广义变分[6]模型。然而，基于过滤器和基于模型的方法通常是特别的，并且在表征复杂依赖性方面受到限制。最近，基于学习的方法已经被研究。在稀疏表示框架下，分析和合成字典学习模型已被用于对强度和深度图像的统计关系进行建模[36，20]。受深度学习成功的推动，深度CNN [7，22]也被开发出来。然而，先前的字典学习方法只是简单地打包强度和相关联的深度补丁，以组学习的方式学习字典。此外，随着增强，更多的细节的深度图像将被恢复。因此，指导也应该动态调整，以应对深度图像的更新，但很少有研究已经给出了解决这个问题的字典学习。3770.∑2σ2三角特姆∗在tem上的电子束图1. 我们的引导深度增强方法的插图。在阶段t+ 1，首先分别将当前增强结果xt和引导图像g与对应的L个分析滤波器进行卷积。 在非线性变换之后，xt和g的滤波响应通过逐元素乘积被组合，并且进一步与L伴随滤波器卷积以形成通过正则化项的结果。最后，通过正则化和保真度项的结果被总结以获得更新的结果xt+1。和基于CNN的方法。在本文中，我们研究了分析表征框架中任务驱动的动态指导学习问题[30]。由于分析表示模型能够对复杂的局部结构进行建模，因此已在各种图像恢复任务中采用分析表示模型[30，2]。在这里，我们扩展它，包括一个指导权重函数的依赖性建模，从而在我们的加权分析表示模型。对于任务驱动的指导学习，我们引入了一个双层优化模型，它允许我们获得针对特定增强任务的优化指导。对于动态指导学习，参考[33，3]，我们使用梯度下降来解决低层问题，并从训练数据中学习阶段参数。综上所述，我们的方法不仅可以为深度图像增强引入强度指导提供一种很好的图1示出了我们方法中的一个阶段的过程本文的贡献有三个方面：• 通过引入一个引导权重函数，扩展了引导深度图像增强的分析表示模型。在我们的模型中，分析表示和权函数相结合来表征强度和深度图像的先验和相关性。• 提出了一种任务驱动的学习方法，通过求解一个双向问题来学习水平优化问题，并从训练数据中学习动态指导特定的任务。• 对深度图像的上采样和含噪深度图像的恢复进行了实验研究。仿真结果验证了该方法对非线性系统的优越性。通过量化指标和视觉质量来衡量艺术2. 相关作品在本节中，我们首先简要介绍了分析表示模型，然后回顾了几种相关的显式制导建模方法。2.1. 分析稀疏表示分析稀疏表示已广泛应用于许多图像处理和计算机视觉任务[32，35，30，33，40，3]。它采用图像块上的分析算子[31]或整个图像上的分析滤波器[30]来建模自然图像的局部结构。与综合稀疏表示相比，该分析模型通过表征信号的补子空间，采用了子空间并表示的另一种观点[5]，通常会得到有效的解。这里我们只考虑卷积分析表示，并且一种表示形式可以由下式给出：ΣΣx=arg minL（x，y）+ρl（（kl<$x）i），（1）xl i其中，ω表示卷积运算符，并且（·）i表示位置i处的值。引入罚函数ρl（·）来表征分析系数。L（x，y）是由退化模确定的数据保真度项El.对于高斯图像去噪，可以简单地让L（x，y）= 12 <$x-y <$2.分析稀疏表示已经研究了sev-sparse-representation。几十年来Rudin等人提出了一种全变分（TV）模型[32]，其中分析滤波器是梯度算子，罚函数是N1范数。随后，已经进行了大量的尝试以提供更好的分析过滤器和惩罚函数。从训练数据中学习分析稀疏模型是一个新兴的课题. Zhu等人。[39]提出了一种FRAME模型，旨在学习预定义过滤器的惩罚函数。 Roth等人[30]提出了一个专家领域（FoE）模型，其中分析了∗. ... ... ... ..∗. ....3771||我||i2IjL学习用于预定义惩罚函数的ysis滤波器尽管FRAME和FoE最初是从MRF的角度引入的，但它们也可以被解释为分析表示模型[31]。最近，Schmidt et al. [33]和Chen et al.[3]建议用高斯RBF核的线性组合来建模相关函数，并且可以从训练数据中学习分析滤波器和惩罚函数。此外，通过结合特定的优化方法，可以以任务驱动的方式学习阶段式参数。尽管已有的方法在图像恢复方面取得了很大的成就，但大多数方法都是针对单一模态图像的学习分析表示，不能应用于有指导的深度图像重建。Kiechle等人通过引入双峰分析模型来学习一对分析算子[ 19 ]，向前迈出了一步。但在分析表征学习中，如何从强度图像中获得明确的、动态的指导仍然是一个有待解决的问题在这项工作中，我们扩展了分析模型，通过引入引导权重函数来建模强度图像的引导，并采用任务驱动的学习方法来学习动态引导的阶段性参数。2.2. 显式制导建模已经提出了许多方法来引入指导信息。一种代表性的方法是将输入图像y、输出图像x和引导图像g公式化为优化模型[21，4，28，6，11]。这里我们只关注显式制导模型，其中正则化项表示为g上的制导函数和x上的惩罚函数的组合。在基于MRF的深度上采样模型[4]中，先验势函数被定义为：Σ Σφμ（g-g）（xi-xj）2，（2）ij∈N（i）其中i和j是图像的像素索引，N（i）是i的相邻索引的集合，并且φµ（z）=exp（−µz2）。在其它模型中也采用了相似的权函数s，例如，非局部平均值（NLM）[28]，用于引导深度增强。除了像素级的差异，其他线索，如颜色，分割和边缘，也被认为是设计合适的权重函数。而不是修改权重函数，火腿等。[11]采用Welsch函数来正则化深度差：Σ Σ分析滤波器和g上的权函数被引入用于显式制导。基于这一观察，我们提出了一个广义的分析表示模型，包括权重函数，并提供了一个任务驱动的学习方法，从训练数据中学习权重函数，分析过滤器和惩罚函数。3. 该方法在本节中，我们介绍我们的引导深度图像增强方法。首先，提出了一种加权分析稀疏表示模型，从灰度图像中引入制导信息。然后，我们提供了一个任务驱动，恩制定，从而在一个双层优化问题。最后，从训练数据中学习逐阶段模型参数3.1. 加权分析稀疏表示对于传统的分析稀疏表示在E-qn.在等式（1）中，正则化项仅是输出图像x的函数。为了引入来自强度图像的引导信息，我们参考等式1中的模型。（2）和（3），并且通过包括权重函数来概括分析模型代替手工制作的指导，我们采用参数形式的权重函数，并且参数可以以任务驱动的方式学习。我们将位置i处的第l个分析算子的权函数定义为wl，i（g）.众所周知，深度和强度不连续性经常同时出现。因此，根据灰度图像的局部结构定义了wl ， i（g），使得在光滑区域wi→1，在不连续区域wi→0由此产生的加权分析模型将当对应的强度区域是平滑的时，惩罚深度不连续性，并且当强度区域表现出强不连续性时，允许尖锐的深度跳跃虽然由同一场景产生的强度图像和深度图像具有很强的相关性，但是两个图像中的值具有不同的物理意义。例如，白墙前面的黑框或黑墙前面的灰框可以对应于相同的深度图，但是强度图像的边缘梯度完全不同。因此，权重函数应该能够避免这种结构无关强度信息的干扰，同时提取有用的显著结构以帮助深度图定位其不连续性。为此，在强度图上采用局部归一化以避免不同输入的影响ij∈N（i）φμ（gi − gj）（1 − φν（xi−xj））/ν。（三）强度大小 具体来说，给定引导强度图像g，我们引入算子Ri来提取局部此外，还有几个手工制作的高级模型，提出对权函数和深度正则化器进行建模[6]。事实上，Eqns中的模型（2）和（3）可以被处理-在位置i上的补丁由Rig. Rig的局部正规化可以通过ei=Rig得 到 。对于ei，我们将位置i处的第l个分析算子βl的权函数定义为，作为手工分析模型的扩展其中一组像素间差分算子被用作wl，i（g）= exp.Σ−（βTei）2.（四）3772LGT2分析算子βl可以作为一种特殊的局部结构检测器。如果局部归一化片ei包含局部结构（诸如边缘），则wl，i（g）将非常小以鼓励深度片表现出对应的局部结构。通过引入权函数wl，i（g），我们将加权分析稀疏表示定义为，Σ Σ较低层次的问题进一步增加了获得精确解的难度。此外，随着增强过程，更多的细节xs将恢复。因此，代替在所有迭代中采用相同的模型参数，通过学习逐阶段参数的动态引导实际上，在中国，L（x，y）+wl，i（g）ρl（（kl<$x）i）.（五）I l测试应用程序。[18]《明史》：“一者，一也。在加权分析稀疏表示模型的基础上，进一步提出了任务驱动的深度图像增强算法，并建议从训练数据中学习参数{ρl，βl，kl}l=1···L3.2. 任务驱动公式化在加权分析表示模型中，数据保真度项由深度增强任务指定。这项工作考虑了两个代表性的任务，即，深度上采样和孔填充。他们的忠诚条款结构可以根据截断版本的用固定迭代的优化算法来近似稀疏编码过程。基于半二次分裂（梯度下降），[33]（[3]）学习了一些阶段式操作来处理自然图像恢复问题，并实现了最先进的性能。在[8，33，3]之后，我们使用梯度下降-t方法求解低层问题，采用贪婪学习策略学习阶段参数。假设 的 两 的 模型参数{{ρ1，β1，k1}l=1···L，···，{ρt，βt，kt}l=1···L}和en-在形式之后，l lll llL（x，y）= τ <$M1（x-y）<$2.（六）22增强结果{x1，...，x1}是已知的。使用梯度下降，更新的结果Xt+1可以通过以下方式获得，xt+1=其中M是对角矩阵，τ是折衷参数。.最大值+1电话+1t+1′Σ电话+1对于深度上采样，M中的对角线元素指示高分辨率估计之间的对应点xt−xL（xt，y）+kl<$（Wlρl（kl<$xt）），（八）方向x和对准的低分辨率输入y。 对于孔填充，其中Wt+1具有与kt+1<$xt相同的大小，并且其值M中的对角元素是二进制的，以指示L在位置i是wt+1L电话+1电话+1像素是否可观察。180度l，i（g）. kl是通过旋转kl得到的给定L（x，y），一个自然的解决方案是执行深度通 过 最 小 化 等 式 11 中 的 模 型 来 进 行 图 像 增 强（五）、然而，模型参数{ρl，βl，kl}l=1···L仍然是未知的，并且应该从训练数据中学习此外，模型参数可以针对不同的任务而变化。因此，我们提供了一个任务驱动的加权到目前为止，罚函数ρt+1（z）还没有参数化.一种可能的选择是使用文献[32，35，30，4，28，6]中现有的正则化器。事实上，从Eqn。由公式（8）可知，我们所要参数化的不是罚函数ρl，t+1（z），而是影响函数ρt+1 ′（z）。这里我们允许影响函数ρt+1 ′（z）为分析稀疏表示，这允许我们学习模型11通过参数化它来获得更灵活的形状，具体任务的参数[25，2]。用D={y（s），xs，gs}SS的训练集t+1′ΣM电话+1.Σ−（z−µj）2gt s=1ρl（z）=αl，jexp第二条，第（九）项样品y（s）、xs和gs分别表示第s个输入深度图像、真实深度图像和真实强度在[25，2]之后，任务驱动的公式可以写成一个双层优化问题，ΣSj2γj这是M个高斯RBF核的总和，中心为μj，标量因子为γj。该公式可以提供一组高度灵活的图像缩放功能[33，3]。{ρε，βε，kε}L= argminxs−xs设αt+1={αt+1}M.则x可以l l l l=1{ρl，βl，kl}Ls=1gt2ll，jj=1电话+1l=1Σ Σ可以明确地写为Θt+1的函数=S.T. xs=arg min L（x，ys）+wl，i（gs）ρl（（kl<$x）i）{τt+1，{αt+1，βt+1，kt+1}L}，即，X（Θt+1）。 因此，在本发明中，xl il lll=1电话+1（七）通过求解上述模型，我们可以得到任务特定的模型参数{ρl，βl，kl}l=1···L。L3773我们采用贪婪的训练策略来学习阶段参数Θt+1通过解决以下问题，Θt+1=argmin1θS||xs−xs（Θ）||二、（十）Θ2s=1gt+1 23.3. 分阶段模型参数学习在Eqn中的低层问题（7）在{ρl，βl，kl}l=1···L上定义了一个隐函数，使得训练问题很难优化.的高度非凸性损失函数相对于参数θt+1的梯度可以通过链式法则计算。然后使用LBFGS方法[23，26]来学习每个阶段的参数。我们通过实验发现，3774(a)（b）（c）（d）（e）图2.学习参数的一部分 在每个子图中，上部分是通过α i回归的惩罚函数;左下部分是用于深度图的分析滤波器ki;并且右下部分是用于引导强度图像的分析滤波器βi。图3. 用于引导深度上采样实验的训练样本。仅经过几个阶段的处理，例如，T. 在贪婪学习之后，进一步利用联合训练来同时学习T个阶段3.4. 讨论我们的加权分析稀疏表示模型可以提供一个灵活的模型来表征引导强度和输出深度图像之间的复杂和动态的依赖关系。通过使用具有因子4的噪声深度上采样作为示例来进行实验以验证这一主张。详细的实验设置将在第4节中介绍。图2示出了24组学习参数中的5组，即，惩罚函数，以及用于强度和深度图像的分析滤波器。强度和深度图像的分析过滤器被重塑，以获得更好的可视化效果。在等式中。（2）和（3）中，使用相同的逐像素差分运算器来对强度和深度不连续性的共现进行建模。从图2，可以看出，强度和深度图像之间的相关性更加复杂，并且用于强度和深度图像的相应分析滤波器完全不同。此外，以往的手工模型通常采用一些单调的收缩函数的滤波器响应，以提高平滑的估计。相反，我们的模型学习的惩罚函数要复杂得多。一些学习的函数清楚地显示了扩展行为，使我们的模型能够生成具有尖锐边缘的高质量深度图。4. 深度图上采样实验在本节中，我们将所提出的方法与其他深度上采样方法进行比较。三种常用数据集（Middlebury [14]，NYU[27]和ToFMark [6]）被用来评估所提出的方法的深度上采样性能。除了基线双三次和双线性上采样方法，我们比较了各种指导上采样方法的比较方法包括两种基于过滤的方法[37，13]，一些基于优化的方法：基于MRF的方法[4]、非局部 平 均 正 则 化 深 度 上 采 样 方 法 [28] 、 总 广 义 变 分（TGV）方法[6]、联合静态和动态滤波（SDF）方法[12]以及最近提出的基于CNN的深度联合滤波方法[22]。还包括最近提出的基于深度学习的方法的均方根误差（RMSE）指标详细的实验设置将在下面的小节中介绍。4.1. Middlebury数据集上的上采样结果Middlebury数据集[14]中的Art、Books和Moebius图像已被广泛用于评估深度恢复算法。在[ 6 ]的实验设置之后，我们使用无噪声和有噪声的低分辨率深度图对四个缩放因子进行上采样实验，即二四八十六对于无噪声实验，训练和测试样本都是由高质量深度图的双三次插值生成的而对于有噪声的实验，有噪声的低分辨率深度图来自[28]，并且我们通过向干净的低分辨率深度图像添加具有标准变差6的高斯白噪声来准备训练有噪声的低分辨率深度图。为了准备训练数据，我们在Middlebury数据集中选择了18个深度和强度图像对[14]，并提取了300个72×72的小图像作为训练数据集。 18幅图像如图所示。3，我们可以看到，一些图像是我们的训练数据集实际上只包含有限的样本。因此，我们通过翻转和旋转原始图像来进一步扩展训练数据集。 延期后，我们得到1200个小im-在训练数据集中分辨率为72×72的年龄。虽然扩展提高了训练的结构多样性样本，训练数据仍然不够多样，因为原始训练图像只包含有限种类的颜色。在实验中，我们不使用RGB图像，而只使用灰度图像来指导恢复。除了我们要从训练数据中学习的模型参数外，还有一些算法参数，例如。深度图和强度图的滤波器数量和滤波器大小。一般来说，较大的滤波器能够模拟较大区域的局部结构关系，在足够的训练数据下，它们会带来更好的性能。然而，使用大型滤波器往往需要大量的滤波器来模拟局部结构先验，这将大大增加训练和测试阶段的计算负担为了在效率和上采样之间取得平衡，3775表1.3无噪声测试图像的实验结果（RMSE）Ar不书莫布 ius×2×4×8×16×2×4×8×16×2×4×8×16双三2.573.855.528.371.011.562.253.350.911.382.042.95双线性2.834.156.008.931.121.672.393.531.021.502.203.18[第13话]2.933.794.977.881.161.582.103.191.101.431.882.85管理成果框架[4]3.123.795.508.661.211.552.213.401.191.442.053.08杨[37]4.074.064.718.271.611.701.953.321.071.391.822.49公园[28]2.833.504.176.261.201.501.982.951.061.351.802.38TGV [6]3.033.794.797.101.291.601.992.941.131.461.912.63SDF [12]3.313.734.607.331.511.671.982.921.561.541.852.57DJF [22]2.773.694.927.721.111.712.162.911.041.501.992.95我们0.892.003.846.160.470.911.682.670.450.841.542.34表2.实验结果（RMSE）对3噪声测试图像。Ar不书莫布 ius×2×4×8×16×2×4×8×16×2×4×8×16双三5.326.077.279.595.005.155.455.975.345.515.686.11双线性4.585.627.149.723.954.314.715.384.204.574.875.43[第13话]3.554.415.728.492.372.743.424.532.482.833.574.58管理成果框架[4]3.494.516.399.392.063.004.055.132.133.114.185.17杨[37]3.014.024.997.861.872.382.884.271.922.422.984.40公园[28]3.764.565.939.321.952.613.314.851.962.513.224.48TGV [6]3.194.065.087.611.522.212.473.541.472.032.583.56陈[1]3.444.466.128.682.092.773.785.452.082.763.875.57SDF [12]3.363.864.937.851.591.922.604.161.641.852.674.21我们1.842.964.417.061.181.642.353.501.341.742.573.79表3.449 NYU测试图像的实验结果（RMSE）。纽约大学×4×8×16管理成果框架[4]4.297.5412.32[第13话]4.047.3412.23JBU [16]2.314.126.98TGV [6]3.836.4613.49公园[28]3.005.059.73SDF [11]3.045.679.97DJF [22]1.973.395.63我们1.562.995.24因此，我们使用24个5×5分析滤波器{kl}l=1. L}表示深度图像。对于滤波器{β l}l=1. L}，将其大小设置为7×7.对于有噪声和无噪声的情况，我们使用结果通过双三次插值作为x0的初始化。我们的实验结果表明，该模型能够在几个步骤中产生非常好的上采样结果。对于无噪声上采样实验，我们将缩放因子2、4、8和16的级数设置为4、5、6和7。而对于有噪声的上采样实验，级数被设置为6、8、10和12。增加额外的阶段将进一步改善训练损失，但冲浪者在训练和测试阶段都有更多的计算负担。通过不同方法对3幅无噪声测试图像进行上采样的实验结果如表1所示。所提出的方法始终显示出其优于竞争的方法，它取得了最好的结果，这3张图片有不同的缩放因子。在图4中，我们给出了缩放因子为16的MoE- bius图像上的上采样结果的可视示例在图中，我们可以看到，引导滤波器方法[13]和MRF方法[4]不能产生非常尖锐的边缘;而[37][28]和[6]的结果在边缘区域附近存在一些伪影。我们的方法能够生成高质量的深度图，具有更清晰的边缘和更少的伪影。我们进一步评估所提出的方法通过噪声深度图上采样实验。不同方法的结果如表2所示，我们没有提供DJF [22]的结果，因为作者没有提供他们的网络以及这种设置的结果选举结果[1]也被包括在内，它被设计用于处理深度超分辨率问题中的噪声。所提出的方法a-gain取得了最好的效果。4.2. 纽约大学数据集上的上采样结果在[22]中，Li et al.利用NYU数据集的前1000张图像[27]作为训练数据，并在NYU数据集的最后449张图像上评估他们的DJF方法。在本节中，我们遵循他们的实验设置，并在448张图像上比较不同的方法。其他方法的结果由[22]的作者提供为了节省训练时间，我们只使用[22]的训练数据集中的前100张图像来训练我们的模型NYU数据集的过滤器的数量和大小与我们在Middleburry [14]数据集上的设置相同。同时，所有的阶段号3776(a) 彩色图像（b）地面实况（c）GF [13]（d）MRF [4]（e）Yang et al. [37]第三十七届(f)Park等人[28]（g）TGV [6]（h）SDF [12]（i）DJF [22]（j）Ours图4.基于无噪声数据（Moebius）的不同方法的深度恢复结果缩放因子4、8和16被设置为4。实验结果如表3所示。与其他方法相比，所提出的方法取得了最好的结果RMSE。4.3. 真实传感器数据的上采样结果除了合成数据外，我们还在真实传感器数据集上评估了所提出的方法[6]。其中使用飞行时间（Tof）和CMOS相机来获得低分辨率深度图和强度图像，并且由结构化光扫描仪生成地面实况我们在图中使用相同的18个图像。3作为训练图像。ToFMark数据集的低分辨率输入中的噪声与以前的合成数据不同。为了生成相似的低分辨率输入用于训练，我们首先使用t位置-尺度分布来拟合输入和地面实况数据之间的残差由于深度图中的缺失值被表示为零，这可以被称为深度图中的非常尖锐的边缘。我们使用一个简单的掩码联合双边滤波[29]方法来生成深度图中未知点的初始化值。虽然这样的初始化x0仍然非常嘈杂，但我们的方法仍然可以在几个阶段中产生非常好的结果此外，本发明还提供了一种方法，我们采用了更大尺寸的滤波器（7×7滤波器ki用于深度图像，9×9滤波器βi用于强度图像）以进一步提高所提出的方法的性能。修复结果见表4。我们将我们的方法与其他经典或最先进的方法相结合。表4表明，我们的方法在以下方面得到了更好的结果：表4. [ 6 ]中3个测试图像的实验结果（RMSE）书鲨鱼魔鬼最近邻18.2121.8319.36双线性17.1020.1718.66考夫[16]16.0318.7927.57他[18]15.7418.2127.04TGV [6]12.3615.2914.68杨[17]12.2514.7113.83SDF [12]12.6614.3310.68我们12.3114.069.66表5. 实验结果（RMSE）在[2 4]中的3个测试图像上。Lu等人[24日] Shen等人[34个] 我们艺术BooksMoebius6.772.242.185.652.242.274.961.661.76的RMSE。从图5中，很容易看出，我们的方法能够生成干净的上采样估计，而其他方法的结果将从强度图像中复制不相关的纹理。5. 含噪深度图恢复实验在本节中，我们提供了其他深度图恢复问题的一些实验结果。使用[24]中的数据集来测试所提出的方法，其中深度图像中不仅包含附加的高斯噪声，而且还包含一些缺失值在下面的小节中，我们首先介绍我们的实验设置，包括3777(a)强度图像（b）地面实况（c）TGV [6]（d）Yang et al.[17]（e）可持续发展基金[12]（f）我们的基金图5.基于实际数据（书籍），采用不同方法得到的深度恢复结果(a)彩色图像（b）输入（c）地面实况（d）Lu et al.[24]（e）Shen et al.[34]（f）我们的图6. 深度恢复的结果不同的方法。训练数据的准备、初始化和一些算法参数的设置。然后，我们将我们的方法与为此任务设计的其他方法进行比较，包括基于低秩的方法[24]和最近提出的互结构联合滤波方法[34]。5.1. 实验环境Lu等人[24]提供了一个合成数据集来评估深度恢复方法。数据集中包括Middlebury数据库[14]中的30个深度和RGB图像对。所有图像的大小已经被归一化为相同的高度370。分别将标准偏差为25和5的零均值加性高斯噪声添加到RGB作者[24]手动将深度图中13%的像素设置为缺失值，以模拟从消费级深度传感器获取的深度图。为了与其他方法进行比较，我们将Art，Books和Moebius作为测试图像，并使用剩余的27幅图像作为训练图像。我们提出的方法没有考虑RGB图像中的噪声，为了公平比较，我们通过最先进的去噪方法[10，9]对RGB图像进行预处理，并使用去噪图像来指导深度图的恢复。这种方法已经在原始论文[24]中被用来与其他深度恢复方法进行比较。该噪声深度图恢复实验中的滤波器数量和大小设置与Middleburry上采样实验中的相同与我们在ToF数据集[6]中的设置相同，我们也采用JBF [29]为缺失数据提供初始值由于提供的训练数据较少，在这个数据集中，我们只采用4个阶段来增强输入深度图像。5.2. 实验结果不同方法的恢复结果如表5所示。[24]和[34]的结果可以从作者的网站上下载。所提出的方法显示出显着的优势，在RMSE方面在图6中，我们给出了一些可视化的示例。可以清楚地看到，我们的恢复方法是能够产生尖锐的边缘，以及在输入图像中去除噪声。6. 结论为了更好地建模强度和深度图之间的依赖关系，我们提出了一种加权分析表示模型，用于引导深度重建。结合强度加权项和分析表示正则化项来建模深度图像和RGB图像之间的复杂关系。我们利用任务驱动的训练策略来学习特定任务的阶段性参数，所提出的模型能够在几个阶段内生成高质量的深度恢复结果。与现有的深度引导上采样和恢复方法相比，该方法具有更小的RMSE值和更好的视觉效果。3778引用[1] D.陈，H。布伊斯曼角Theobalt和S. Thrun.用于实时深度上采样的噪声感知滤波器。在多相机和多模态传感器融合算法和应用研讨会-M2 SFA 22008，2008。1、6[2] Y. 陈河，巴西-地Ranftl和T.Pock 深入了解分析操作 员 学 习 ： 从 基 于 斑 块 的 稀 疏 模 型 到 高 阶MRFs。IEEE图像处理学报，23（3）：1060-1072，2014。二、四[3] Y.陈威Yu和T. Pock学习优化反应扩散过程以实现有效的图像恢复。CVPR，2015。二、三、四[4] J. Diebel和S.Thrun. 马尔可夫随机场在距离传感中的应用NIPS，2005年。一、三、四、五、六、七[5] M. Elad，P. Milanfar，and R.鲁宾斯坦信号先验中的分析与综合。逆问题，23（3）：947，2007. 2[6] D. Ferstl角赖因巴什河Ranftl，M. Rué ther，以及H.比肖夫使用各向异性总广义变分的图像引导深度上采样。InICCV，2013.一、三、四、五、六、七、八[7] M. R.放大图片作者：Gernot Riegler，David Ferstl和H.比肖夫用于引导深度超分辨率的深度原始-对偶网络。在BMVC，2016年。1[8] K. Gregor和Y.乐存。学习稀疏编码的快速近似。ICML，2010年。4[9] S. 古角，澳-地Xie，黄胸拟谷盗D. 孟，W.左，X. 峰L.张某加权核范数最小化及其在低层视觉中的应用。IJCV，2016年。8[10] S.古湖，澳-地Zhang，W. Zuo和X.峰加权Nu- clear范数最小化及其在图像去噪中的应用CVPR，2014。8[11] B. Ham，M.Cho和J.庞塞使用联合静态和动态引导的鲁棒图像CVPR，2015。三、六[12] B. Ham，M.Cho和J.庞塞使用联合静态和动态引导的鲁棒图像CVPR，2015。五六七八[13] K.他，孙杰，还有X。唐引导图像滤波。IEEETransactions on Pattern Analysis and MachineIntelligence，35（6）：1397-1409，2013. 一、五、六、七[14] H. Hirschm uüller和D. 沙尔斯坦立体匹配代价函数的评价CVPR，2007。五六八[15] S. 伊萨迪D.Kim，O.希利格斯，D。莫利诺河New- combe，P. Kohli，J. Shotton，S. Hodges，D.弗里曼A. Davison等人运动融合：使用移动深度摄像机的实时3D重建和交互，a.在ACM用户界面软件和技术上，第559-568页，2011年。1[16] D. L. J. Kopf，M. F.题名其余部分：M.联合双边上采样。在ACM图形学交易中，2007年第26卷。六、七[17] K. L. C. H. Y. W. J. Yang，X.烨使用自适应自回归模型从rgb-d数据恢复颜色引导的深度InIEEE，2014. 七、八[18] J. S. K.他和唐X 引导图像滤波。 在ECCV，2010年。7[19] M. Kiechle，S. Hawe和M.克莱斯托伯深度图超分辨率的强度深度联合稀疏分析模型InICCV，2013.3[20] H. Kwon，Y. W. Tai和S.是林书通过多尺度稀疏表示的数据驱动深度图细化。CVPR，2015。1[21] A. Levin，D. Lischinski和Y.韦斯一个封闭形式的解决方案，以自然图像抠图. IEEE Trans- actionson Pattern Analysis and Machine Intelligence ， 30（2）：228-242，2008。3[22] Y.李，J- B. Huang，N. Ahuja和M. H.杨深度联合图像滤波。2016年欧洲计算机视觉会议。一、五、六、七[23] D. C. Liu和J. Nocedal.大规模优化的有限记忆bfgs方法。数学程序设计，45（1-3）：503-528，1989. 4[24] S. Lu、X. Ren和F.刘某通过低秩矩阵完成的深度增强。CVPR，2014。一、七、八[25] J. Mairal，F. Bach和J.庞塞任务驱动的词典学习。IEEE Transactions on Pattern Analysis and MachineIntelligence，34（4）：791-804，2012。4[26] 我是马克。minfunc，2013年。http：//mloss.org/software/view/529/. 4[27] P. K. Nathan Silberman 、Derek Hoiem 和R. 费格斯。室内分割和支持从rgbd图像推断。ECCV，2012年。五、六[28] J. Park，H.金，Y.- W.泰，M。S.布朗，我。基元。用于3d-tof相机的高质量深度图上采样。见ICCV，2011年。一、三、四、五、六、七[29] G. 佩施尼格河塞利斯基湾阿格拉瓦拉湾科恩H. Hoppe和K.富山使用闪光灯和无闪光灯图像对的数码摄影。在2004年的ACM图形交易，第23卷，第664-672页中。七、八[30] S. Roth和M. J.布莱克。专家领域。国际计算机视觉杂志，82（2）：205 二、四[31] R. Rubinstein，T. Peleg和M.埃拉德分析k-svd：字典学习算法的分析稀疏模型。IEEE Transactions3779on Signal Processing，61（3）：661-677，2013.二、三3780[32] L. I. Rudin，S. Osher和E.法特米基于非线性全变分的噪声去除算法。物理D：Nonlinear Phenomena，60（1）：259-268，1992. 二、四[33] 联 合Schmidt 和S. 罗 斯有 效图 像恢 复的 收缩 场CVPR，2014。二、三、四[34] X.申角周湖，加-地Xu和J. Jia.联合滤波的互结构。在ICCV，2015年。一、七、八[35] J. - L. Starck，E. J. 可以，和D。L. Donoho 曲波变换用于图像去噪。IEEE图像处理，11（6）：670二、四[36] I. Tosic和S.德鲁学习联合强度-深度稀疏表示。IEEE Transactions on Image Processing ， 23（5）：2122-2132，2014。1[37] Q. 扬河 Yang，J. D a vis和D. 是的。深度图像的空间-深度超分辨率。CVPR，2007。五、六、七[38