55920摘要0我们提出了一种新的过滤方法，用于解决计算机视觉中常见的大量正则化逆问题。传统上，这些问题是通过找到表达问题一阶最优性条件的方程组的解来解决的。如果由于使用非局部正则化而导致方程组稠密，这种方法可能很慢，需要迭代解算器，如逐次超松弛或共轭梯度。在本文中，我们展示了类似的解决方案可以更容易地通过过滤获得，无需使用慢速迭代方法解决潜在的稠密方程组。我们的过滤解决方案与真实解非常相似，但计算速度通常快10倍。01. 引言0逆问题是数学问题，其目标是根据观测到的输入数据恢复潜在变量。在计算机视觉中，估计光流[1]是一个经典的逆问题，其目标是恢复图像对之间的表观运动。图像超分辨率、去噪、去模糊、视差和光照估计问题都是成像和计算机视觉中的逆问题的例子[2]–[5]。这些逆问题在实时计算机视觉应用中的普遍性使得高效的数值解算器对于这些逆问题非常重要。传统上，逆问题被表述为一个正则化优化问题，然后通过找到其一阶最优性条件的解来解决，这可以表示为一个线性（或线性化）方程组。最近，基于双边或非局部均值加权的保边正则化器在许多视觉问题中得到了应用[5]–[7]。虽然这种非局部正则化器通常产生比局部正则化器更好的解，但它们会生成密集的方程组，在实践中只能通过缓慢的数值方法（如逐次超松弛和共轭梯度）来解决。这些数值方法本质上是迭代的，并且对整体问题的条件敏感。迭代方法如共轭梯度还要求问题是对称的（且半正定）。0在这项工作中，我们解决了形式为的正则化优化问题0最小化 �(�) = ‖�� − �‖ 202 + �� � �� (1)0使用快速非迭代过滤，无需解决由测地线和双边正则化器产生的密集线性方程组。我们在三个经典视觉问题上验证了我们的方法：光流（和视差）估计、深度超分辨率和图像去模糊和去噪，所有这些问题都可以表示为形式（1）。我们对这些问题的过滤解决方案与真实解非常相似，如图1所示，但计算速度快10倍。与快速双边解算器[5]相比，我们的形式不特定于双边正则化器，并且可以解决更高级的逆问题，如视差和光流估计问题。0通过过滤解决视觉问题0Sean I. Young 1 Aous T. Naman 2 Bernd Girod 1 David Taubman 20sean0@stanford.edu aous@unsw.edu.au bgirod@stanford.edu d.taubman@unsw.edu.au01 斯坦福大学 2 新南威尔士大学0图1.在视觉中解决正则化逆问题通常需要使用共轭梯度等迭代解算器。我们通过过滤解决相同类型的问题，加速10倍。0深度超分辨率0视差0光流0去模糊0去噪0真正的解决者 我们的过滤解算器 1.00.01.00.01.01.0] + 𝝐, (3) + 𝜆𝐮∗𝐋푘𝐮, (6) 𝕃fd = [] , 𝕃fe = [], (8) 559302.反问题0许多反问题的一个特征是它们要么没有唯一解，要么解不稳定——它不连续地依赖于输入。我们将这样的问题称为病态问题。因此，反问题经常被重新表达以获得唯一性和稳定性。可以通过一个简单的最小二乘问题来演示重新表达的形式0最小化 �(�) = ‖�� − �‖ 20其中� ∈ � �×�，� ∈ � �。当� ≤�时，问题（2）有无限多个解，不满足唯一性测试，因此在这种情况下需要对（2）进行重新表达。即使当� >�时，问题（2）仍然可能不满足稳定性测试。考虑具有输入数据的问题实例0� = [0]，� = [0例如。可以将�视为�的精确右手边向量的扰动——除非� =�，否则没有向量�使得�� = �。虽然问题（2）接受（唯一的）ls = � † � = (� � �) −1 � ��，但如果�沿着特定方向，解将受到扰动的不当影响。这个方向是�� 1，其中� 1是� � �的小特征轴上的向量。这要求类似于�的情况下对（2）进行重新表达。0在计算机视觉问题中，�通常表示隐藏的变量场（例如场景深度），�的每个元素与图像中的特定像素位置相关联。在这种问题中，（2）通常通过正则化重新表达：0最小化 �(�) = ‖�� − �‖ 20其中� ∈ � + �×�是（图）拉普拉斯矩阵，惩罚相邻顶点之间的变化，参数� >0指定了解对输入（�,�）的准确性和解的平滑性之间的权衡。当���(� � �) ∩ ���(�){�}时，问题（4）有唯一解，这个条件在大多数情况下成立，因为�通常是与某个图的拉普拉斯矩阵对应的高通操作符，而� ��是一个低通操作符（用于图像去模糊）或非负对角矩阵（用于视差和光流估计）。由于问题（4）对�是二次的，它的解可以简洁地表示为� opt = (� � � + ��) −1 � ��。尽管简单，问题（4）的目标具有足够一般的形式，并且通过适当定义�可以表达视觉和成像中的大多数反问题，如深度和光流估计、深度超分辨率、上色[6]、图像修复[8]、去模糊和去噪[4]。通过适当定义�，（4）的目标同时表达了局部和非局部0[1]，[2]和非局部[5]–[11]正则化项。问题（4）也足够一般，可以表示基于Charbonnier和Huber损失的非二次模型。一个显著的非二次目标是Rudin等人的总变差函数[2]。0最小化 �(�) = ‖�� − �‖ 20其中�(�) = |�|，�是差分矩阵，因此� = � ��。尽管（5）与（4）看起来非常不同，但Chambolle和Lions[12]表明（5）可以通过延迟扩散方法（或迭代重新加权最小二乘法）轻松解决，该方法在第�次迭代中解决最小二乘问题0最小化 � �+1 (�) = ‖�� − �‖ 20其中0and � � 是 � �的最小化器。由于每个问题（6）与（4）具有相同的形式，我们不需要单独考虑解决（5）的快速方法。02.2.局部与非局部0求解形式为 (4) 的正则化逆问题可以追溯到Phillips[13]、Tikhonov [14]和Twomey[15]、[16]在一维情况下的工作，这些工作由Hunt[17]在二维情况下进行了扩展。在二维情况下，�的一个常见选择是基于有限差分（fd）或有限元（fe）模板的�，它们是0−10−1 4 −10−10−1 −2 −10−2 12 −20−1 −2 −10。后者被Horn和Schunck [1]使用。Gilboa和Osher[8]展示了使用非局部拉普拉斯进行图像去噪和修复的好处。正如作者所指出的，他们的非局部拉普拉斯本身就是[18]中图拉普拉斯的一种改编。给定一个�-样本图像，其�个顶点为� �，1 ≤ � ≤ �，我们可以定义顶点上的图拉普拉斯为� = � −�，其中�表示顶点 {� � } 上某个图的加权邻接矩阵，� = ����(��)是该图的度矩阵。在视觉应用中，� � 与� �之间的加权邻接通常是�(‖� � − � � ‖) 的函数，因此可以将�定义为� �� = �(‖� � − � � ‖)，其中� ∈ � + → � +是某个非递增函数。02.3. 双边 vs 测地0一个值得注意的图拉普拉斯矩阵受到双边滤波器[19]、[20]的成功启发。假设我们有一个�-样本图像� ∈ � � � ��，其样本位置是�平面上一个矩形网格的点�。图像顶点的双边空间表示 [21] 是 =, (10) Whereas the solution 𝐮opt = (𝐇∗𝐇 + 𝜆𝐋)−1𝐇∗𝐳 of (4) is simple, its numerical evaluation can be expensive. Except in a handful of scenarios, 𝐮opt must be evaluated iteratively using numerical methods such as successive over-relaxation or conjugate gradients, both of which require us to evaluate the mappings 𝐭 ↦ 𝐇∗𝐇𝐭 and 𝐭 ↦ 𝐋𝐭 repeatedly. ?e latter mapping can be particularly expensive to evaluate if 𝐋 has a nonlocal (dense) matrix structure. Krylov-subspace methods like conjugate gradients additionally require the spectrum of 𝐇∗𝐇 + 𝜆𝐋 to be clustered for faster convergence. minimize ( ) =̂+() , argmin 2 = argmin († ) 2, (12) 55940� � � �0� � � �0� � � � ) ∈ � ⊕ [0,255], (9)0其中 � �,� ,�是双边空间在各个维度上的尺度。如果我们将图的邻接矩阵 �定义为 � �� = e −|� � −� � | 2 /2 ，那么 � † � 和 � − �分别是双边滤波器和双边加权图拉普拉斯矩阵。观察到当 � � =∞ 时，� 就是一个具有尺度 � � 和 � �的高斯模糊算子。在保边正则化中，另一个常见的图拉普拉斯矩阵是基于测地距离的。在这种情况下，矩阵 � 定义为 � �� e −geod(� � ,� � ) ，其中 geod(� � , � � ) 是从点 � � 到点 � } 定义的二维流形上的最短路径的距离。0geod(� � , � � ) = min0�,(� � ) 1≤�≤� : � � �� 0� � =� 1 , � � =� �0� � − � �+1 |0�−10�=10其中 � � � ′ 表示 � 与 � ′是二维网格上的相邻像素。由于双边和测地图拉普拉斯在顶点上的度通常不同，通常需要进行归一化以实现更均匀的正则化。最常见的归一化形式是对称归一化拉普拉斯 � � = � †/2 �†/2，称为对称归一化拉普拉斯，和随机游走归一化拉普拉斯� � = � † �，称为随机游走归一化拉普拉斯[18]、[22]。Barron等人 [7]使用Sinkhorn归一化形式[23]、[24]的双边加权图拉普拉斯。相比之下，基于模板的拉普拉斯（8）已经在常数缩放因子下归一化（除了可能在图像边界处）。03. 相关工作03.1. 快速求解器0对于光流估计，Krähenbühl和Koltun[11]考虑了(4)的双边正则化实例，但采用了Charbonnier惩罚项进行正则化。他们实际上利用了 � = � − � 的事实，其中 �是非归一化的双边滤波器，并使用快速实现的双边滤波器在共轭梯度中高效地评估映射 � � ��。然而，即使在预处理的情况下，通常也需要进行十次或更多次共轭梯度迭代。0使用的是非迭代方法，不如非迭代方法高效。Barron和Poole [5]提出了双边求解器，用于 � 为双边加权且 �为方阵且对角线的特定情况。通过将拉普拉斯矩阵 � � = � − � �表示为双随机化矩阵 � � 的分解 � � = ��� � ，其中 � 和 �分别是切片和模糊操作符。他们将问题(4)重新表述为 � = ��0最终得到原始问题(4)的解 � opt ≈ �� opt。虽然双边求解器在实践中产生了高效的解，但该求解器是迭代的，并且不能推广到具有其他保边正则化器的问题。此外，解 �� opt存在块伪影，需要通过第二个保边滤波器进行进一步的后处理，正如作者自己所述。03.2. 快速滤波0像双边求解器这样的快速求解器最终取决于能够高效执行双边滤波。已经提出了许多快速双边滤波方法，包括自适应流形[25]、高斯 �D树[26]和排列晶格[21]滤波器。它们都利用了使用大内核进行滤波也可以通过(i)对输入进行下采样，(ii)使用较小的滤波器内核对下采样信号进行滤波，最后(iii)对滤波后的信号进行上采样来实现。这一系列操作通常被称为splat-blur-slice流程。这样的流程保证了计算复杂度与滤波器内核大小的常数成比例。相比之下，朴素的双边滤波器实现的复杂度将随着内核大小的增加而线性增长。同样，高效的测地线正则化取决于高效的测地线滤波。滤波器的快速实现包括测地线距离变换[27]和域变换[28]。由于测地线滤波需要计算每对顶点之间的最短路径(10)，朴素的滤波器实现将非常昂贵。例如，如果使用Dijkstra算法找到所有像素级最短路径，测地线滤波的成本将与像素数量 � 呈 �(� 3 ) 的关系。04. 我们的滤波方法0我们现在介绍我们工作的主要结果。我们假设 �如[5]中所述进行了Sinkhorn归一化，尽管在实际实现中这并不是必需的。所提出的方法源于一个观察，即在没有正则化的情况下，0所以我们可以将 � † �视为要通过最小二乘使用权重(逆协方差矩阵)进行滤波的某个变换信号 𝐇† = {()if(∗)−1∗if>, (13) ̂ 1 =, (17) ̂̂̂55950� � � (但问题仍然不适定)。注意结构伪逆(与数值伪逆相对) � ∈�×� 的定义为0所以虽然关系式(12)总是成立的，但通常不是 ‖�� − �‖ 2 2 = ‖�(� − � † �)‖ 2 2 当 � > � 时。使用加 � = � � � ，我们建议以非迭代方式获得正则化问题(4)的解 10� filt = � † ��� † � � = ����(���), (14a) = � † �� � �0其中 � 是 � 的图邻接（或低通滤波器）矩阵。简而言之，� filt 是使用最小二乘权重 �对病态问题（2）的朴素解 � † � 进行滤波，然后通过 �进行归一化以保持信号的均值。这是将归一化卷积[29]的思想应用于求解正则化逆问题。对于某些问题（3）的实例，通过 �进行加权既不是必要的也不是可取的。例如，在问题（2）的去模糊实例中，原始的病态问题是求解 ��− � = � 以获得 �。模糊操作符 �结构上是可逆的（但数值上不可逆），并且将正则化逆问题也可以表述为0最小化 �(�) = ‖� − � † �‖ 202 + �� � ��, (15)0在这种情况下，通过 �进行加权变得不再必要。根据应用的不同，我们因此使用去权重的变体来进行滤波策略0�� filt = � † �� † �, � = ����(��), (14b)0而 � = �(� + ��) −1 � � 具有因子04.1. 当 � = � 时的分析0为了观察（14a）中的 � filt ≈ �opt，让我们考虑问题（4）的一个更简单的有启发性的实例，其中 � =�。那么，我们的解（14a）可以写作 � filt = ��，真实解可以写作 � opt =��，其中 � = (� + ��) −1。由于 � 是对称且半正定的，我们可以将其写作 ��，其中 � 是 � 的特征向量，对应的特征值为 � = ����(� 1 , � 2 , . . . , � �)按照 0 = � 1 ≤ � 2 ≤. . . ≤ � � ≤ 1 的顺序排列。可以观察到滤波器 � = �(� 具0并且半正定，我们可以写作 � = ��� �，其中 � 是 �的特征向量，对应的特征值为 � = ����(� 1 , � 2 , . . . , � �)。我们假设 �� 按照 0 = � 1 ≤ � 2 ≤. . . ≤ � � ≤ 1的顺序排列。可以观察到滤波器 � = �(� − �)� �具有谱滤波器[22]因子01 = 1 − � 1 ≥ 1 − � 2 ≥. . . ≥ 1 − � � ≥ 0, (16)0而 � = �(� + ��) −1 � � 具有因子01 + � 10≥ 01 + � 20≥. . . ≥ 01 + � �0≥ 10假设 � = 1 以简化问题。� 的特征值向 0 衰减，而 � 的特征值向1 2 ∕ 衰减。然而，我们可以通过应用映射 � � (� + �)/2来轻松使两个谱滤波器的响应相等。无论如何，它们都具有单位直流增益（或常数向量 �的单位滤波器响应），如（16）-（17）的左侧所示（�的第一个特征向量是 � −1/2 �）。由于两个谱因子 (� − �) 和 (� +�) −1 通常不相同，我们的滤波解 � filt = �� 必然是 � opt = ��的近似。然而，这样的近似是合理的，因为我们真正的目标是获得一个好的视觉问题解决方案，而不是准确地解决问题（4）本身。04.2. 当 � ≠ � 但是（块状）对角时的分析0让我们将我们的滤波器解决方案 � filt 与 � opt 相关联，当 �不再是单位矩阵而是对角矩阵时。我们方便起见写作 �� = � †�。在简化 � = 1 的情况下，问题（4）的解 � opt 变为 � opt = (�+ ��) −1 ���，� filt = � † ����（14a）。假设所有权重最初都是 � =�，如4.1节所述。为了观察当任意权重 � �� 被设置为 1 − � � 时解 �opt 如何变化，我们使用Sherman-Morrison公式来写作0(� + ��) −1 = (� + �� − �� � � �0� ) −10(18) = � + � � �� � � �0� � �01 − � � � � � �� �0= � + � � � � � �0� ,0其0� � = � �01 − � � � ��0, 0 ≤ � � ≤ 1, (19)0� � 是单位矩阵的第�列。等式(18)告诉我们，设置� �� = 1 − � �会将� �� � � � �添加到�，这是唯一的调整，保证(� + � � � � � ��)�具有单位行和。如果�具有较大的有效滤波尺度，则此调整很小，因为� � � � = 1意味着��的元素很小。我们同样保证�†��具有单位行和，但通过�†显式地进行归一化。对于�是块对角的一般向量情况，可以给出类似于(18)-(19)的论证，就像在光流估计问题中的情况一样。0尽管在外观上相似，�†�与迭代无关0例如在雅可比、高斯-塞德尔或SOR方法中看到的矩阵。数值上，�†是通过截断奇0情况，或者通过FFT高效地进行，如果�是平移不变的（例如模糊算子）。 In the depth super-resolution problem [30]–[32], the goal is to upsample a depth map captured by a depth camera to a higher resolution one in an edge-aware manner. For a given low-resolution depth map 𝐳, the super-resolution problem is ̂̂(27) 559605. 鲁棒估计0我们的滤波方法（14）可以通过在图域中更改滤波器�来进行鲁棒化。通过将底层图的顶点（9）作为增加的顶点。0� � = (0� � � �0� � � �0� � � �0� � � � ), (20)0其中� �是先前解的第�个元素，��是此解的尺度。（对于光流和光照估计问题，将两个分量� 1�和� 2�添加到�中，具有各自的尺度。）如果�按照高斯加权，如� �� = e −|� � −� � | 2/2，则引入� � 对应于在正则化中使用Welsch损失。然而，在�是具有� �� = −geod(� � ,� �)的测地线滤波器的情况下，引入� �在已建立的鲁棒估计框架内难以解释。由于Welsch损失是非凸的（且非齐次的），尺度参数� �在保证问题的凸性方面起着重要作用。观察到�在区间[−�,�]上是凸的，我们应该设置�，使得大部分输入落在此区间内。输入可能有时会落在凸区间之外，只要(5)中的目标函数的Hessian矩阵是半正定的即可。另一方面，Krähenbühl和Koltun[11]提出了一种有效的方法，可以在(5)中结合其他凸鲁棒损失�。0�(�) = � 2 (1 − exp(− � 2 2� 2 ∕ )) (21)0我们将我们的方法应用于一些视觉问题，所有这些问题都可以写成形式(4)。还可以将我们的方法应用于[5]中讨论的其他简单问题，例如语义分割和上色，这些问题都可以转化为形式(4)。06. 解决视觉问题0在深度超分辨率问题[30]–[32]中，目标是以边缘感知的方式将由深度相机捕获的低分辨率深度图上采样为更高分辨率的深度图。对于给定的低分辨率深度图�，超分辨率问题是06.1. 深度超分辨率0由0minimize �(�) = ‖�� − �‖ 202 + �� � ��, (22)0其中下采样器� =��，�表示预滤波器（根据奈奎斯特定理为窗口化的sinc），�是一个子采样器。我们使用(14b)来获得0� filt = � † �� � � � �, � = ����(�� � � � ���), (23)0因此，我们首先使用 � � � � 对 � 进行上采样，然后使用 �进行滤波，并进行归一化。图2展示了深度超分辨率的示例。06.2. 视差估计0视差估计首先可以作为一个非线性最小二乘问题，并使用高斯-牛顿算法迭代地解决一系列线性化最小二乘问题。在第 �+ 1 次迭代中，估计的视差由正则化逆问题的解给出：0最小化 � �+1 (�) = ‖� � (� − �02 ���������0� � (�)0+ �� � �� (24)0其中 � � 是 � � 的最小化器，� � = ����(� �) 且 � � � 是使用视差估计 � �对图像对进行扭曲的 � - 和 � -导数。然后我们可以将 (24)的目标函数的第一项写为：0� � (�) = ‖� � (� − �� � )‖ 202 , �� � = � � − � �0† � 0� , (25)0使用关系式 (12) 对 � � (�) 进行滤波。我们通过滤波获得第 � + 1个视差估计：0� �+1 = � † �(� �02 � � − � �0� 0� ), � = ����(�� �)02 �). (26)06.3. 光流估计0光流估计问题是视差估计 (24)的向量扩展。由于每个像素现在有两个要估计的值，人们可能会想知道我们的方法是否仍然适用。实际上，我们的形式主义保持不变。总结一下，第 � + 1个0最小化 � �+1 (�) = �� �0� �� � + �� �0� �� �0+ ∥(� � , � � )(� −0�����������0� � (�)0视差超分辨率0参考图像 地面实际视差 低分辨率视差 我们的视差（测地线） 我们的视差（双边）0图2. 使用我们方法的测地线和双边变体生成的 16× 超分辨率视差图，用于 1088 × 1376的艺术场景。通过放大在线上查看效果更佳。结果是典型的（更多结果可在补充材料中找到）。 ̂̂], (30) , (31) 𝐙푛 = [𝑧푥푛2𝑧푥푛𝑧푦푛𝑧푥푛𝑧푦푛𝑧푦푛2], (32) 푛 =𝐚푛∗𝐙푥2𝟏𝐙푥 Figure 4. Crops of the deblurred images from the Kodak dataset, produced using the geodesic and the bilateral variants of our method when the standard deviation of the blur kernel is 2. Noise variance is 10−5. Results are typical (more results are available in the supplement). 55970[33]，其中 � = (� � � , � � � ) � ，� � ， � � 和 � � 的定义与 (24)相似。我们可以将 (27) 的最后一项重写为：0� � (�) = ∥(� � , � � )(� − �� � )∥ 20其中 �� � = � � − (� � , � � ) † � � �。与视差估计问题不同，我们现在有两个无法分别过滤的光流分量——逆协方差 (� � , � � ) � (� � , � �) 现在耦合了两个光� 和 � � � 。因此，原始方程 (14a)在向量情况下被推广为：新的光流估计通过以下方式获得：0� �+1 = � † �(�� � − (� � , � � ) � � �0� ), (29)0其中0� = [0�0� ], � = [0� 02 � � � �0� � � � � �0和0� = [0����(�� �)02 �) ����(�� � � � �)0����(�� � � � �) ����(�� �)0因此，除了过滤信号 �� � − (� � , � � ) � � � � 外，我们还需， � � 2 � 和 � � � � � 。注意，映射 � � �� 只是分别过滤 �的两个分量，而矩阵 � 和 � 可以被排列成块对角矩阵，其中第 �个块是 2 × 2 矩阵。0和02 � ]，（33）0本质上，� �是一组加权的2×2逆协方差矩阵，用于归一化第�个滤波向量。图3说明了光流估计。06.4. 图像去模糊0在经典的图像去模糊问题中，我们的目标是从一些模糊图像�中恢复出一个去模糊图像。我们使用我们方法的去加权变体（14b）来恢复去模糊图像，如下所示：0� filt = �†��†�，� = ����(��)，（34）0其中�是一些已知的模糊算子。当� =�时，（34）简化为边缘感知滤波。可以表示�† =��†��，其中�是离散二维傅里叶基，�是它们对应的幅度响应。我们可以通过将�的傅里叶系数与逆幅度响应�†相乘，并将结果转换回图像域来计算�†�在频域中的值。然而，对于实际实现，需要使用�†的数值定义。表示模糊算子� = ����，其中0光流估计0真实值 基准光流 我们的光流（测地线） 我们的光流（双边）0图3. 使用我们方法的测地线和双边变体产生的光流（上排）及其对应的光流误差（下排）。基准光流为[41]，我们执行3次扭曲迭代。较白的像素对应较小的光流向量。0真实值 噪声模糊图像 我们的去模糊（测地线） 我们的去模糊（双边） ()= (35) , (38) 37.27 37.40 36.63 38.56 38.05 35.24 35.30 35.11 36.27 35.96 32.23 32.60 32.86 34.42 34.01 28.94 29.63 29.29 30.55 30.50 41.85 41.73 42.33 42.69 44.49 38.59 39.28 39.83 40.60 41.24 35.96 36.58 37.76 39.00 40.28 33.93 33.40 34.40 35.54 37.15 41.56 41.77 42.29 42.46 44.78 38.30 39.54 40.21 40.49 41.98 35.79 36.70 38.00 38.70 39.90 33.95 33.60 35.11 35.32 37.25 39.97 40.05 39.98 41.02 41.85 37.24 37.81 38.05 38.87 39.29 34.48 35.07 35.87 37.11 37.56 31.94 32.01 32.52 33.48 34.36 40.16 41.80 43.02 37.24 37.88 38.59 34.87 35.41 35.94 31.41 31.67 32.26 47.58 48.95 49.43 44.76 45.53 45.79 42.37 42.41 42.96 39.56 39.74 39.77 48.47 49.67 49.82 45.80 46.16 45.78 43.37 42.81 43.20 40.84 39.78 40.65 43.70 45.25 46.22 40.82 41.45 41.96 38.44 38.78 39.29 35.15 35.27 35.82 41.73 43.63 38.31 38.98 35.79 36.15 31.66 32.22 49.06 49.72 45.49 45.96 42.77 43.09 39.70 39.87 49.50 48.89 46.07 45.78 43.23 42.96 40.39 40.30 45.19 46.51 41.75 42.26 39.16 39.43 35.32 35.76 ̂̂̂̂̂̂̂55980����，其中�表示离散傅里叶向量，�是幅度响应的对角矩阵，定义� ϵ † = �� � † ��，其中0如果�� >�，则为−1，否则0是��†的第�个对角元素。本质上，数值伪逆��†将所有�� ≤�视为0。我们可以将我们的解�†��ϵ†�视为通过边缘感知滤波器�波并进行归一化的无噪声Wiener去模糊解。另一种选择的逆滤波器是�ϵg = ���g��，其中0g ) � = min(� �0可以验证通过（36）定义的�ϵg是广义逆但不是伪逆。由于阈值化（35）会在去模糊图像中引入振铃伪影，因此修正的滤波因子（36）比（35）更可取。注意到广义逆��满足以下关系：02 = argmin ‖�(� − ���)‖ 20类似于（12）中关于�†的关系。图5绘制了伪逆和广义逆响应。07. 实验结果0为了演示所提出的方法，我们实现了我们的滤波器来解决上一节中的一些问题。视差估计问题（24）是光流估计问题（27）的特例，因此我们只在本节中考虑后者问题。我们使用域变换滤波器[28]和排列晶格滤波器[21]来实现测地线滤波器和双边滤波器。运行时间是在一台Intel 2.7GHz Corei7处理器（iMacmid-2011）的单个核心上获得的。请注意，我们方法的双边变体由于双边滤波器实现[21]的速度而比其测地线对应物慢。然而，双边变体的性能略优于测地线变体。在所有应用中，我们将图形顶点在�-�-�-�-�-�空间中表示为0� � = ( � �0� �0� � � �0� � � �0ℓ � � �0� � � �0� � � �0并分别使用网格搜索优化� �,�，� �和��。表1和表2中我们两种迭代解的结果（测地线和双边）是使用共轭梯度计算得出的（24次迭代，10^-6的范数容差）。07.1. 深度超分辨率0使用[30]的深度图超分辨率数据集，我们根据我们的滤波形式测量了我们的超分辨率方法的准确性和效率。该方法还与其他一些表现良好的方法进行了比较。我们假设（23）中的�是lanczos3窗口化的sinc重采样算子。我们使用网格搜索自适应地设置我们的滤波器尺度。0� �,� = � + 2, � � = 160 � ∕ , � � = � + 100对0� �,� = 3�, � � = 48, � � = 160√0�0对于测地线变体（�是超分辨率因子），表1列出了深度超分辨率的峰值信噪比0表1.不同方法的深度超分辨率性能。PSNR（dB）值是超分辨率视差与真实值之间的均方误差。运行时间是16×情况下的结果。其他方法的结果（前六行）基于[5]中报告的均方误差。0方法 艺术 书籍 Möbius 平均 时间 2× 4× 8× 16× 2× 4× 8× 16× 2× 4× 8× 16×0其他方法0引导滤波器[35]0Diebel和?run [34]0Chan等人[36]Park等人[30]Yang等人[33]Ferstl等人[31]023.9秒0–03.02秒24.1秒0–0140秒0迭代0双边求解器3 [5]0测地线4（22）双边4（22）01.61秒1.60秒8.23秒0我们的0测地线双边00.44秒1.41秒0使用� �,� = 8, � � = 4, � �,� = 3, � = 4 �−1/2，如[5]中建议的。在每个尺度上，� �,�，��，� �，�通过单独的网格搜索找到。0� �0� 0g0� 0†0� 0�0�0图5. 模糊核的幅度响应（左）和不同的逆响应（右）。维纳响应 � � �在频率上变化平滑。伪逆响应 � � † 被阈值化为零。我们的广义逆响应� � g 具有矩形响应。 26.64 25.28 29.43 27.62 29.53 27.66 29.86 28.06 30.18 28.15 29.86 27.86 30.10 28.07 30.13 28.12 0.797 0.741 0.738 0.893 1.969 0.999 0.619 3.940 1.100 0.817 0.514 0.589 0.486 2.508 0.438 0.381 2.436 0.473 2.322 0.973 0.516 5.822 1.155 0.471 0.239 0.279 0.134 4.537 0.232 0.257 0.573 0.335 1.543 0.578 0.294 3.503 0.619 0.409 0.182 0.180 0.110 1.993 0.280 0.244 0.538 0.390 1.562 0.610 0.296 3.567 0.635 0.379 0.206 0.174 0.082 2.011 0.256 0.279 0.592 0.345 1.543 0.598 0.304 3.610 0.650 0.429 0.215 0.193 0.110 2.041 0.248 0.273 0.566 0.346 1.536 0.603 0.302 3.587 0.628 0.442 0.205 0.174 0.111 2.032 0.231 0.245 0.577 0.343 1.556 0.600 0.304 3.583 0.648 0.388 0.198 0.182 0.087 2.037 0.228 0.252 0.549 0.351 1.561 0.606 0.305 3.544 0.638 0.390 0.191 0.167 0.093 2.022 55990方法及其运行时间。前几行（其他方法）的结果是使用[5]的表2计算得出的（来自补充材料）。Bilateral Solver[5]的结果是使用公开可用的代码获得的。我们的两种滤波方法比大多数专门用于超分辨率应用的方法快1-100倍。图2显示了我们使用测地线变体方法得到的16×深度图。07.2. 光流估计0使用MPI-Sintel光流数据集的训练集，我们现在将我们的滤波方法的准确性和效率与EpicFlow的迭代变分优化器[35]（也被[36]–[40]使用）、Horn-Schunck [1]和Classic+NL[41]方法进行比较。我们的迭代双边基线与[11]类似，但在正则性方面使用Welsch损失代替Charbonnier损失。我们使用DeepMatching[42]的插值初始化流（27）。我们的方法和EpicFlow都使用3个外部扭曲迭代。我们使用自适应方法设置滤波器参数。0� �,� = 10, � � = 12, � � = 0.5� (41)0对于我们的方法的双边变体，其中 �是初始光流向量的均方根幅度，以及0� �,� = 20, � � = 96, � � = � (42)0对于测地线变体。我们将EpicFlow的参数设置为Sintel设置。表2提供了光流估计后的平均端点误差和运行时间。我们的方法的测地线变体与EpicFlow的变分优化器（或连续超松弛）具有类似的平均端点误差
