模糊图像中边缘轮廓与相机运动的关系

4447从本地到全球：模糊图像中边缘轮廓与相机运动的关系Subeesh Vasu1，A. N. Rajagopalan2印度理工学院马德拉斯subeeshvasu@gmail.com1，raju@ee.iitm.ac.in2摘要在这项工作中，我们调查的边缘轮廓之间的关系存在于运动模糊的图像和基本的- ING相机运动负责造成的运动模糊。虽然相机运动估计（CME）的相关工作依赖于空间不变模糊的强假设，我们处理一般的相机运动的挑战性的情况下。我们首先展示了如何边缘配置文件“单独”可以利用执行直接CME从一个单一的观察。虽然常规方法也通过交替最小化来联合估计潜在图像是常规的，但是我们的上述方案最适合于当这种追求是不实际的或无效的时。对于实际上倾向于交替最小化策略的应用，边缘轮廓可以作为有价值的线索。我们将一个适当的派生约束从边缘配置文件到现有的盲去模糊框架，并证明了改进的恢复性能。实验表明，这种方法产生的盲去模糊问题的最先进的结果。1. 介绍摄像机运动估计（CME）在许多基于多图像的应用中起着至关重要的作用，如运动恢复结构、超分辨率、HDR成像等。这些应用涉及跨图像的信息共享，这通常通过建立特征对应来实现但是，这成为一个具有挑战性的任务，在运动模糊的存在。CME在许多基于单运动模糊图像的应用中也很重要，例如图像恢复，场景深度估计（[18，36]），拼接检测（[12]），光源的3D结构估计（[38]）等。针对来自运动模糊图像的CME的常见方法是将其视为盲去模糊问题，其中潜像（或其特征）和相机运动都在交替最小化（AM）框架内估计。在盲去模糊文献中，大多数方法假设空间不变（SI）模糊（即，纯平面内摄像机平移）（[3，9，27，10，11，1，35，15，17，2，4，29，20，21]）。虽然这导致非常有效的盲去模糊算法，然而，这种假设在实践中并不成立。众所周知（[16，13]），自然相机抖动通常包含旋转分量，导致捕获图像中的空间变化（SV）模糊。从最近的工作（[5，31，7，34，37，22]）中可以明显看出，需要考虑模糊的SV性质，以准确估计一般相机运动。虽然这是一个重要的问题，但未知数数量的增加使其变得相当不适定，需要更强的先验来实现高质量的性能。非常不适定的问题，例如深度感知去模糊和滚动快门运动去模糊，要么完全避免使用AM（[24]），要么需要从局部点扩散函数（PSF）导出的相机运动的良好初始化（[36，28由现成的盲去模糊算法返回的模糊核估计。然而，它们的性能是有限的，因为PSF估计从小区域可以是错误的。盲去模糊的最新趋势是提出类特定或通用先验（[35，2，29，37，20，21，22]），以减少问题的不适定性。虽然这些先验中的一些已经显示出很大的希望，但是由于以下原因中的一个或多个，它们的性能是有限的：在图像上失败，先验不保持良好，不能处理SV模糊，计算复杂性等。在SV去模糊中，[37]已经广泛流行了很长一段时间。他们在执行CME时对图像的梯度采用了L0除了[37]的L0先验外，[22]中的最新工作还采用暗通道先验，以显著提高SV去模糊的性能。在这项工作中，我们解决的问题CME从一个单一的运动模糊的图像利用边缘配置文件。只有两个著名的作品使用边缘轮廓文件来获得有用的信息。Cho等人[2]已经对PSF和边缘轮廓之间的关系进行了建模，以执行SI去模糊。Tai等人[30]已经使用边缘轮廓从SI模糊图像估计相机响应函数（CRF）。我们首先提出了一种方法（称为EpAlone），用于从边缘轮廓进行有效和直接的CME，即，不需要潜像估计。我们扩大范围的边缘配置文件，并采用它们来估计一般的相机运动。而盲去模糊等问题，4448HDR成像等执行潜像和相机运动的联合估计，对于这种方案不切实际或无效的应用，EpAlone是合适的。对于实际上依赖于这样的联合估计方案的应用，明智的选择是使用边缘轮廓作为附加的正则化器。最近关于盲去模糊的工作（[21，22]）表明，可以通过在现有方法上添加强先验来提高性能。在这些工作之后，我们提出了一种方法（称为Xu + Ep），该方法结合了来自于其中，Sk嵌入了在运动模糊图像BI中的边缘上移动时的强度变化。通过比较Eq.（1），Eq.（2）、Eq.（5）我们可以观察到，模糊图像中的边缘轮廓α等于Sk的中间行。很容易看出，Sk的行和k在X轴上的投影的累积是等价的，即，xSk（x，y）=k（u，v）= P（u）（6）边缘轮廓到现有的方法徐等。[37]u=−∞v=−∞u=−∞以达到最先进的性能。所提出的方法（EpAlone和Xu +Ep）都是基于我们在本文中介绍的新的理论主张由于篇幅所限，补充材料中提供了相应的证明。我们的主要贡献概述如下。• 在文献中的第一次，我们推导和分析的边缘轮廓之间的关系存在于一个模糊的图像和潜在的6D相机运动。• 我们提出了一个新的约束来自边缘配置文件，并使用它来执行有效的和直接的CME从一个单一的运动模糊图像。• 我们提出了一个盲去模糊方案，通过优雅地将我们的新约束合并到[37]的公式中，以实现最先进的性能。2. 边缘轮廓和卷积边缘轮廓是沿边缘方向在一条线上获取的阿尔法蒙版（通过将边缘两侧的两种颜色的同质区域视为背景和前景）。在我们的工作中，图像中两个均匀区域之间的边界让我们将跨边缘的长度为N的边缘轮廓表示为αi，其中i=1，2，.， N. 然后，沿着沿着边缘取向的线L的强度值可以表示为：L（i）=c1αi+c2（1−αi）（1）其中C1和C2是在边缘的任一侧上的两个均匀区域的颜色不失一般性，假设我们正在处理的边是垂直边。考虑在所考虑的边缘周围的矩形区域上定义的二元阶跃边缘S，. 1x≥0其中P是k在X轴上的投影注意，Eq.（6）不是y的函数，表明Sk的所有行都是相同的。类似地，可以示出，一般而言，边缘轮廓等效于PSF沿 着 边 缘 方 向 在 线 上 的 投 影 的 累 积 分 布 函 数（CDF）[30]（或PSF沿着与边缘方向正交的方向的Radon变换的CDF [2]）。如果图像中的局部区域I不模糊（即，BI=I），则Sk=S，即，该区域中的边缘轮廓将是阶跃响应。请注意，阶梯边缘的这些属性是在局部区域上定义的。由于即使对于一般的相机运动，我们也可以将局部区域的模糊这开辟了利用边缘配置文件的一般CME的可能性更具体地，可以通过寻找有利于对应潜像估计中的理想阶跃边缘的解来求解相机运动。支持本节讨论结果的说明性示例如图所示1.一、 我们已经使用了一个样本PSF（图）。1（a））从[ 16 ]的数据集模糊示例图像，从其中提取的区域如图1所示。第1段（b）分段。PSF在两个不同方向上的投影以及该投影的CDF如图所示。第1（a）段。从图中可以看出。1（b），PSF的投影等于沿各自方向提取的边缘轮廓的微分。3. 边缘轮廓到相机运动在本节中，我们推导出运动模糊图像中的局部边缘轮廓与底层全局相机运动之间的关系。对于一般的相机运动，模糊图像（g）可以被表示为S（x，y）=0x<0。（二）潜像f的变形实例为（[5，34，23]）对于干净的图像，该区域处的强度I可以表示为，I=Sc1+（1−S）c2（3）用核k使上述区域模糊，得到：g（x）=1te∫te0f（（Ht）−1（x））dt（7）BI=k<$I=（k<$S）c1+（1−k<$S）c2（4）=Skc1+（1−Sk）c2（5）4449其中x=（x，y）表示空间坐标，te为图像的总曝光时间Ht对应于单应性将潜像与4450XyXXy其中ρ表示Radon投影的径向坐标。结合等式中的关系。（9）和Eq。（11）我们能够直接地将α与边缘轮廓关联为1∫dEθ，x（ρ）=γ∈Γ（γ）δ（ρ−（Hγx−x）cosθ−（Hγx−y）sinθ）dγ（12）(a)（b）第（1）款图1.点扩展函数投影的CDF与模糊图像中形成的边缘轮廓的等价性。(a)一个样本点扩散函数及其沿两个方向的投影和投影的CDF。(b)来自相应模糊图像的示例区域以及从中提取的边缘轮廓（沿着正交方向）以及边缘轮廓的微分在时刻t将场景投射到图像平面上。将g和f联系起来的等效方法是使用基于相机在运动期间经历的姿势∫g（x）=<$（γ）f（（Hγ）−1（x））dγ（8）这里Hγx是指Hγ（x）的x坐标。当量公式（12）将边缘轮廓的微分（dE）直接与边缘轮廓或潜在的相机运动相关联。通过离散化Eq.（12）我们得到TdEθ，x（ρ）= w（p）δ（ρ−（Hpx−x）cosθ−p=1（Hpx−y）sinθ）（13）其中w是在离散姿态空间P上定义的权重向量，仅对于相机已经移动的那些姿态p∈P，该值是非零（并且为正），并且NT是P中的姿态的总数。这γ∈T其中T是相机在曝光时间期间经历的不同姿态的集合，γ是指来自T的单个姿态，Hγ是对应于γ的单应性扭曲，并且H（γ）是相机停留在γ处的时间的分数。当量（8）允许表达与Eq相同的关系。 （7）但以独立于时间的方式。运动密度函数（motion density function，简 称 TSF ） 是 一 种 运 动 密 度 函 数 （ motion densityfunction ， 简 称 motion densityfunction ， 简 称 motiondensity function）。对于一般的相机运动，模糊图像中x处的PSF可以与x相关（[23]）离散化允许我们将边缘轮廓与矩阵向量乘法形式的矩阵向量w相关联，dEθ，x=Mθ，xw（14）其中，Mθ ，x是根据等式中的关系形成的测量矩阵（13），dEθ，x∈Nρ×1，Mθ，x∈Nρ×NT，w∈NT×1，其中Nρ为边轮廓的长度.使用这样的Ne边缘轮廓，我们可以写dE=Mw（15）作为k（x，u）=∫γ∈T（γ）δ（u −（Hγx −x））dγ（9）其中dE∈NρNe×1，M∈NρNe×NT.因此，来自运动模糊图像的边缘轮廓的集合可以通过等式优雅地与边缘轮廓相关。（15）、我们可以解决其中Hγx是指Hγ（x），通过用单应性Hγ扭曲x获得的坐标。这里，PSFk（x，u）被定义为两个变量的函数，因为它本质上是空间变量（SV），其中u=（u，v）表示在其上定义x当量9是姿势向量γ0将其权重γ 0（γ0）分配给PSF中的点u0的事实的直接含义，并且PSF可以通过对来自所有姿势的这种分配进行姿态γ0可以与u0相关为u0=Hγ0x−x（10）让我们把k（x，u）记为kx（u，v）。边缘轮廓dEθ，x（沿θ+π/2）在x处的微分可以表示为PSF在x处沿θ的Radon变换（[2]）。∫ ∫通过最小化下面的成本函数，w=argmin||dE−M w||2+λ||W||1（16）W其中，L1范数用于增强相机运动轨迹在姿态空间中的自然稀疏性，λ是λ上的先验权重。请注意，这种方法类似于[24]中建议的从局部PSF估计中恢复PSNR的想法。由于通过传统的盲去模糊方案获得的局部PSF估计可能是错误的，因此来自PSF的CME的适用性受到限制。另一方面，我们在Eq.（16）直接将相机运动与图像中自然可用的边缘轮廓相换句话说，虽然来自PSF的CME的性能取决于PSF估计的现有方法的性能，但我们的dEθ，x（ρ）=kx（u，v）δ（ρ−ucosθ−vsinθ）dudv4451（十一）方法不受这样的限制。1有关推导的详情，请参阅补充资料。4452X0Xyzy4. 从边缘恢复相机运动如果有足够数量的边缘轮廓可用，我们可以使用方程。（16）准确估计摄像机运动。然而，在尝试使用Eq时存在一些问题。（16）在实际工作中。为了从图像中的不同位置提取边缘轮廓，我们遵循[2]中的过程他们使用了一套图像分析算法，包括检测模糊图像中的边缘和一些离群拒绝计划。然而，一个基本的问题是，所提取的边缘轮廓将不会相对于彼此对齐，因此不能直接用于等式2中的CME（十六）、为了对齐提取的边缘轮廓，[2]利用PSF的质心对应于其1D投影的质心的事实由于这在CRF的影响下无效，[30]采用极值点沿相同方向对齐边缘轮廓。但是这对于来自不同方向的边缘轮廓是无效的，因为映射到极值点的单应性[2]因此，对于我们的场景，我们不能使用极值点进行对齐。4.1. 协调一致和影响在本节中，我们将展示边缘轮廓可以使用质心对齐，即使是一般的相机运动。我们限制我们的分析，两个不同的，但常用的近似6D相机的轨迹。首先，我们分析了模型1的情况，模型1使用平面内平移和平面内旋转对6D运动进行建模（[5]）。后来，我们将结果扩展到模型2，该模型采用纯3D旋转（[34]）作为6D运动的近似。声明1：对于模型1，如果摄像机经历的平面内旋转运动很小（如手持情况下摄像机抖动的典型情况[13，28]），则可以表明，矢量的质心将对应于PSF的质心，即，从视差获得的摄像机的质心姿态将把点映射到由摄像机运动产生的PSF的质心，或者等效地映射到相应边缘轮廓的质心对于小的面内旋转，可以证明在图像中x处PSF的质心坐标（uc，vc）对应于λ的质心（tc，tc，θc）3即，Σ Σuc=ukx（u，v）=Hcx−x（17）u v并且从边缘轮廓是PSF的线性投影的事实来看，其对应的边缘轮廓是微不足道的由于边缘轮廓和PSF的质心之间的对应关系总是有效的[2]，PSF的对齐自动地指的是边缘轮廓的对齐。此外，由于平面内平移等效于平面外旋转（对于大焦距）[34]，因此我们可以得出结论，基于质心的边缘轮廓对齐对于模型2也是足够的。这也得到了[13]中的工作的支持，该工作表明模型1和模型2在近似由自然握手引起的原始6D相机轨迹方面同样出色。接着，我们分析了基于质心的对准对摄像机运动和潜像估计的影响。 它众所周知相同的模糊图像可以由不同的有效（即，校正到单应性）潜像-照相机运动对。对齐的边缘轮廓应对应于有效的相机运动，以确保由等式（1）返回的估计值。（16）正确。接下来，我们将展示质心对齐的PSF的集合与有效的相机运动和潜像一致，其可以产生相同的模糊图像（这意味着对齐的边缘轮廓可以直接用于CME）。 让我们考虑m个PSF的集合，k1，.从位置x1，.. xm在模糊图像中。权利要求2：质心对准的PSF对应于相机运动和潜像，两者都是一致的。与给定的模糊图像一致，并校正到全息图。假设在Hw 0 中有n 个主动（非零）姿态，其中H1，.，Hn是相应的单应性，L是潜像。我们可以证明4对齐的PSF对应于在坐标Hcx上定义的另一个潜像（Lc）（即通过单应性扭曲Hc与L相关）和新的潜像（由单应性Hj（Hc）-1的集合形成），两者都与同一模糊图像一致。因此，使用质心对齐的边缘轮廓，我们可以估计有效的凸轮轮廓之一使用Eq. （十六）、为了验证权利要求1和2的结果，并且也为了分析通过边缘轮廓的质心对准在CME中引入的误差的影响，我们进行了以下实验。使用来自[13]的数据库的相机轨迹（地面实况相机运动），我们在图像中的不同位置产生边缘轮廓这些边缘轮廓相对于质心对齐，然后vc= Σ Σvkx（u，v）=Hcx−y（18）用于使用Eq.（十六）、然后，该方法用于在不同位置生成PSF紫外 线。我们使用质心生成另一组PSF其中，Hc是对应于质心的单应性。点扩散函数的质心通过使用（Hc）-1映射地面实况摄像机轨迹而获得的对准的摄像机轨迹。由权利要求1和2可知，这两个PSF应该是相同的。我们计算了2补充资料中提供了一个说明性例子3详细证明见附件。4.关于权利要求2的详细讨论，参见补充材料。4453这两组PSF之间的归一化互相关（NCC）值来验证我们的观察。这也测量了不同类型的摄像机运动的PSF的质心对准的准确性（有效性）。除此之外，我们还计算了边缘轮廓的质心与摄像机轨迹的质心映射的点之间的差异（例如，dc）。我们以两种不同的方式进行实验。一方面，我们使用[13]数据库中的摄像机轨迹测试了我们提出的方法在模型1和模型2 2（b、c、e、f））。另一方面，我们单独研究了使用单个摄像机轨迹的平面内旋转精度的变化。增加轨迹所跨越的旋转量，以观察质心误差和NCC值的行为（如图2和3所2（a，d））。我们发现，dc总是亚像素的（图1和图2）。2（a，b，c））和相关值是consistently高（图。2（d，e，f）），这支持了我们的理论研究结果。虽然误差随着旋转度的增加而增加，但即使对于高达7度的平面内旋转，误差仍然相当小，这完全在由附带的相机抖动引起的范围内。(a)（b）第（1）款(c)（d）其他事项4.2. 计算考虑在权利要求1和2的基础上，我们可以对准从给定运动模糊图像提取的所有边缘轮廓并执行CME。直接使用Eq。（16）计算上是昂贵的。这是因为测量矩阵M的构造和涉及如此大的矩阵的操作因此，我们建议在等式中重新构建我们的约束。（16）以便利用计算上有效的过滤流框架（[8]）的优点。从权利要求1和2中，我们观察到模糊图像上的边缘轮廓的质心位置可以被视为对应潜像中的阶跃边缘的位置。根据这一原理，我们可以生成由潜在图像中的所有阶跃边缘形成的预测图像（Ip）。我们建立一个边缘轮廓图像（Iep）形成的边缘轮廓在各自的位置的差异。使用Eq.（6），Eq. （15）和权利要求1和2中，我们注意到，通过有效的相机运动，Ip中的阶跃边缘与Iep因此，我们建议使用下面的估计方程，形成从IP和IP，以取代计算昂贵的公式方程。（十六）、w=argmin||Tw（Ip）−Ie p||2+λ||W||1（19）W这里，Tw表示由下式定义的扭曲操作的集合：W.可以使用滤波器流框架[8]有效地实现Ip和Iep之间的这种非均匀模糊关系我们使用我们提出的约束方程。（ 19 ） 从 边 缘 轮 廓 执 行 盲 CME ， 并 将 其 命 名 为EpAlone。EpAlone的计算复杂度可以进一步降低，如接下来在Ip和Iep的生成中所讨论的。权利要求3：边缘轮廓的微分的绝对值（等式3中的P）（6））等效于由两个均匀颜色之间的差归一化的模糊图像（在边缘轮廓的位置涉案也就是说，(e)（f）第（1）款图2.分析质心对准对CME的影响。这些措施是估计从整个示例图像生成的PSF。 使用（a）仅平面内旋转，（b）模型1，以及（c）模式2。（d）仅针对平面内旋转的非盲估计的PSF和GT PSF之间的NCC的最小值和平均值，(e) 模型1和（f）模型2。|为|（c 1 − c 2）|P（20）|P(20)从权利要求3、5中，我们通过在质心位置处指定（c1-c2）的绝对值来形成IpIep是通过收集沿边缘轮廓方向的绝对梯度的切片（围绕边缘轮廓的质心）来形成的在我们的实验中，我们观察到，边缘轮廓的方向通常导致相机运动估计中的小误差，这主要是由于边缘轮廓定向估计中的误差。作为一种解决方案，我们选择了切片在一个小的角度窗口周围的估计边缘轮廓方向。这提高了Eq.（19）通过使其对方位估计中的误差不太敏感（与等式（19）相比），（16））。5.关于权利要求3的详细论述参见补充说明。4454W（a）（b）（c）（d）（e）Xu et al. [37]第三十七届(a)（e）(f) EpAlone（g）Xu + Ep（h）内核（EpAlone）（i）内核（Xu +Ep）（f）（g）(j)来自（a、e、f、g）的图3.非均匀去模糊的合成示例：（a）输入运动模糊图像，以及（b）我们的预测图像。边缘轮廓图像由（c）单向掩模和（d）多向掩模生成。(e-g)去模糊结果。(h-i)从建议的方法估计内核。在图1中给出了关于I p和I ep的生成的说明性示例。3.第三章。我们已经使用了从模糊图像中提取的边缘轮廓的质心位置（图1）。3（a）），以形成预测图像（图3（b）），其中每个位置处的值是附近均匀区域的颜色之间的差异的绝对值通过使用单方向掩模以及多方向掩模形成的相应边缘轮廓图像3（c-d）。备注：我们构建预测图像的想法很简单-类似于在现有去模糊中使用边缘预测单元ods，我们选择使用[37]，因为他们的潜像梯度的L0范数先验我们将Eq。（19）引入到[37]的公式中，并将这种新方法称为Xu + Ep。以下是Xu + Ep中用于估计潜像和反射率的修正方程。ft+1=argmin{||2+λf||▽f˜||0}（21）||0}(21)f~wt+1=argmin{||2个以上||2+方法。 不同之处在于，我们使用w/f（二十二）与其他方法使用的迭代预测方案（通过滤波技术或图像先验）相比，用于阶跃边缘的直接预测的边缘轮廓的思想我们提出EpAlone的主要目的是揭示新约束的潜力（我们通过等式1倡导）。（19）5. 使用边缘轮廓约束去模糊由于未知数的维数很大，Eq.公式（19）需要足够数量的边缘轮廓跨越广泛的取向范围，以获得精确的估计但它可能并不总是能够满足这一要求。在本节中，我们证明了Eq。（19）仍然可以作为一个有价值的约束，规范现有的方法继续医学教育。这与最近关于盲去模糊的工作（[21，22]）的精神是一致的，这些工作提出了新的先验作为[37]中图像先验的根据这一思路，我们还建议使用Eq。（19）作为对现有方法的额外限制，[37]以提高其业绩。虽然我们的约束可以用来提高任何去模糊方法的性能λIp||MIpw−Ie p||2+λw||W||一个其 中 t 是 迭 代 次 数 r ， 迭代次数r 是指 迭 代 次 数 的xicographically 排 列 形 式 。 Mf 和 MIp 是 由 潜 像 梯 度（f）和Ip构建的扭曲矩阵，Mw是由w形成的测量矩阵。第一和第二等式中的项。22充当数据约束，而最后一项是相机轨迹上的稀疏先验当λIp控制我们提出的约束对整个优化的影响时，λw确定w中的稀疏度。由方程式21，我们已经使用了由标量参数λf加权的图像梯度的L0范数先验（[37，21，22]）用于潜像估计。很容易看出，通过强制执行我们的边缘轮廓约束，我们间接地激励潜像中存在的阶跃边缘，以强烈影响相机运动估计。 这一改善超过[37]提供最先进的性能，我们稍后将展示。由于我们的附加约束尊重过滤器流框架公式（[7，32]），方程中的优化（21）和Eq.（22）可以完全使用过滤流来解决。在Xu + Ep中，我们以尺度空间的方式交替地最小化潜像和最小化估计所有4455算法1CME用于单一尺度。输入：当前比例下的模糊图像g，从先前比例获得的初始模糊估计值w0输出量： 按目前规模精确估算的费用。1：对于t=1：nmax2：通过求解方程估计ft（二十一）3：通过求解方程估计wt（二十二）4：结束5：返回wt，作为电流的精确估计值规模Xu + Ep的主要步骤（对于单个标度）在Al-出租m1中列出。6应该注意的是，AM的目的是获得相机运动的准确估计。为了获得最终的恢复图像，我们使用AM返回的相机运动估计执行非盲去模糊备注：利用权利要求1、2和3，我们已经开发了一种计算上有效的约束，从而产生两种优雅的CME方法，EpAlone和Xu + Ep。然而，它们的适用性存在重大差异。与现有的方法（包括Xu + Ep）不同，EpAlone避免了对中间潜像估计的需要。因此，诸如CRF估计（[30]）、正常恢复（[25]）、深度感知去模糊（[24，36]）、卷帘快门运动去模糊[28]等应用可以被用于在图像中进行图像处理。或者不保证AM或者需要对相机运动的良好初始估计，可以受益于EpAlone或其基础公式。用于盲去模糊、HDR成像等应用。其依赖于AM和显式潜像估计，我们导出的边缘轮廓约束可以是如针对去模糊问题所讨论的有价值的附加。图4.对来自[13]的前7个内核进行定量评估6. 实验由于估计的摄像机运动的视觉评价是困难的，我们比较了我们提出的方法的基础上得到的潜在图像估计从所得到的摄像机运动的性能。这反过来又意味着AC-6补充资料中提供了我们的算法的实现细节和我们实验中使用的参数设置CME的准确性。我们使用[14]来获得潜像估计，该潜像估计使用从EpAlone和Xu获得的图像。+ Ep. 我们采用Lasso算法[19]由[33，32]提供，用于使用EpAlone和Xu + Ep的CME。虽然我们主要关注的是来自非均匀模糊图像的CME，但我们也对SI病例进行了比较。对于SI模糊，我们将定性比较限制在两种密切相关的方法[2，37]，和当前最先进的工作[22]。对于SV模糊，我们与[5，34，6，7，37，22]和[26]进行比较。定性比较主要在[2，5，34，6]和[22]的真实图像数据库上进行。为了公平起见，仅对基于AM的去模糊方法进行定量比较。定量评估：我们在[7]中使用了由基准数据集中的4个潜像和前7个内核形成的28个模糊图像。我们排除了其他内核，因为它们代表非常大的模糊，这可能导致边缘轮廓提取从图4中的定量比较可以明显看出，Xu +Ep优于竞争方法（[1，35，27，3，15，32，7，37]），并且与最新技术相当甚至更好（[22]）。合成示例：图3显示了非均匀去模糊的合成示例。这是基于边缘轮廓的去模糊的理想示例，因为边缘轮廓跨越所有取向的丰富可用性。这使得EpAlone图3（d）比竞争方法表现得更好。图3（e）是Xu + Ep的结果，它给出了所有结果中最好的结果。真实例子：我们在这里给出了一些关于去模糊的代表性例子（图1）。（五）。补充资料中提供了更多示例。为了完整性和证明EpAlone的潜力，我们已经包括了EpAlone用于盲去模糊应用的结果。 注意在大多数例子中，EpAlone本身提供了良好的高质量的输出，尽管它只使用CME的边缘轮廓我们提出的方法（Xu + Ep）能够为所有示例提供与最先进水平相当或质量更好的结果。视觉比较还显示，Xu + Ep能够整合[37]和EpAlone的优势，以实现最佳性能。对于图中的示例。[37]（图3（e），图5（b））在估计的潜像中留下残留模糊，而EpAlone（图3（f），图5（d））在试图强制跨越阶跃边缘的突然过渡时产生振铃伪影。然而，Xu + Ep（图3（g），图5（e））能够整合期望的特征这两种方法都能准确地捕捉到运动。备注：EpAlone执行CME的速度比Xu和+ Ep和[22]，同时产生有希望的结果。同时，我们有效和即兴的边缘约束形式使EpAlone比[2]中的SI对手表现得更好。Xu + Ep相对于最先进的工作（[22]）的主要优势是计算复杂度的显着降低，但具有可比的/改进的4456(a) 运动模糊图像（b）Xu et al. [37]（c）Gupta et al. [五]《中国日报》（一）(b)(c)(d) EpAlone（e）Xu + Ep（d）其他事项(e)(f) 来自（a-e）的(g) 运动模糊图像（h）Xu et al.[37] Whyte et al. [34]（j）Pan et al.[22日](g)（j）(h)（k）(k)EpAlone（l）Xu + Ep（一）(m) 来自（g-i）的（l）(n) 来自（j-l）的图5. 使用Gupta等人数据集的图像进行SV去模糊的真实示例。[22][23][24]。性能运行时间的比较见补充资料。我们的新约束的主要限制是它不能处理大模糊，不像[22]。7. 结论在本文中，我们研究了运动模糊图像中的边缘轮廓与潜在的摄像机运动之间的关系。我们提出了一种方法（EpAlone）的直接CME边缘配置文件，以帮助应用程序，典型的AM框架是不合适的。 为了突出重要性-除了我们的新边缘约束的应用程序，实际上有利于AM，我们将其纳入现有的盲去模糊框架，并证明了改进的性能，曼斯。实验表明，我们提出的方法（徐+ Ep）对于盲去模糊问题产生了最先进的结果，在加速方面有显著的改进。作为未来的工作，它将是有趣的，使用我们的论文中开发的结果（直接或间接）为其他重要的例如CRF估计、正常估计、深度感知去模糊、滚动快门运动去模糊等应用。引用[1] S. Cho和S.李你快速运动去模糊。在ACM Transactionson Graphics（TOG），第28卷，第145页中。ACM，2009年。1、74457[2] T. S.周，S。巴黎湾K. Horn和W. T.弗里曼。使用Radon变 换 的 模 糊 核 估 计 。 在 计 算 机 视 觉 和 模 式 识 别（CVPR），2011 IEEE会议，第241-248页中。IEEE，2011年。一二三四七[3] R. 费格斯湾辛格A.Hertzmann，S.T. Roweis和W.T.弗里曼。从单张照片中消除相机抖动在ACM Transactions onGraphics（TOG），第25卷，第787ACM，2006年。1、7[4] A. Goldstein和R.肥塔尔来自谱不规则性的模糊核估计在欧洲计算机视觉上，第622-635页。Springer，2012. 1[5] A. 古普塔，加-地乔希角，澳-地L. Zitnick，M.Cohen和B.没有卷发使用运动密度函数的单幅图像去模糊。欧洲计算机视觉会议，第171施普林格，2010年。一二三四七八[6] S. Harmeling，H. Michael和B. Sch oülk opf.消除相机抖动的空变单图像盲解卷积神经信息处理系统进展，第829-837页，2010年。7[7] M. 赫 希 角 J. Schule r，S. Harmeling 和B. Sch oülkopf. 快速消除不均匀的相机抖动。2011年国际计算机视觉会议，第463IEEE，2011年。一、六、七[8] M. Hirsch，S. Sra，B. Sc hoülk opf和S. 伤害。空变多帧盲反卷积的有效滤波流程在CVPR，第1卷，第2页，2010中。5[9] J. Jia使用透明度的单个图像运动去模糊。2007年IEEE计算机视觉和模式识别会议，第1-8页。IEEE，2007年。1[10] N.乔希河Szeliski和D. J·克里格曼使用锐边缘预测的Psf估计。计算机视觉和模式识别，2008年。CVPR 2008。IEEE会议，第1-8页。IEEE，2008年。1[11] N.乔希角，澳-地L.齐特尼克河Szeliski和D. J·克里格曼图像去模糊和去噪使用颜色先验。 在计算机视觉和模式识别，2009年。CVPR 2009。IEEE会议，第1550-1557页。IEEE，2009年。1[12] P. Kakar，N.Sudha和W.序列通过检测运动模糊中的差异 来 揭 露 数 字 图 像 伪 造 IEEE Trans-actions onMultimedia，13（3）：443-452，2011. 1[13] R. Kohler，M. 赫希湾，巴西-地 Mohle r，B. Scho¨lk opf，以及S. 伤害。 相机抖动的记录和回放：用真实世界的数据库对盲反卷积进行基准测试。欧洲计算机视觉会议，第27-40页。Springer，2012. 一、四、五、七[14] D. Krishnan和R.费格斯。使用超拉普拉斯先验的快速图像去卷积。神经信息处理系统的进展，第1033-1041页，2009年。7[15] D. Krishnan，T. Tay和R.费格斯。使用归一化稀疏性测量的盲反卷积。在计算机视觉和模式识别（CVPR），2011 IEEE会议上，第233-240页。IEEE，2011年。1、7[16] A. Levin，Y. Weiss，F. Durand和W. T.弗里曼。盲解卷积算法的理解与评价.在计算机视觉和模式识别，2009年。CVPR 2009。IEEE会议，1964-1971页。IEEE，2009年。一、二[17] A. Levin，Y. Weiss，F. Durand和W. T.弗里曼。盲解卷积中的有效边缘似然优化。在计算机视觉和模式识别（CVPR），2011 IEEE会议 上， 第2657IEEE，2011年。1[18] H.- Y. Lin和C.- H.昌从运动模糊图像中恢复深度。在第18届模式识别国际会议IEEE，2006年。1[19] J. Liu，S. Ji，J. Ye，et al. Slep：稀疏学习与高效投影。亚利桑那州立大学，6：491，2009年。7[20] T. Michaeli和M.伊拉尼使用内部补片递归盲去模糊。在欧洲计算机视觉会议上，第783-798页。Springer，2014.1[21] J. Pan，Z. Hu，Z.苏和M H.杨通过l0-正则化强度和梯度先验去模糊文本图像。在IEEE计算机视觉和模式识别会议的Proceedings，第2901-2908页，2014年。一、二、六[22] J. Pan，D.孙，H.菲斯特和M H.杨使用暗通道先验的盲图 像 去 模 糊 在 IEEE 计 算 机 视 觉 和 模 式 识 别 会 议（CVPR）上，2016年6月。一二六七八[23] C. Paramanand和A.拉贾哥普兰从清晰和运动模糊图像对的形状。International Journal of Computer Vision，107（3）：272-292，2014. 二、三[24] C. Paramanand和A. N.拉贾哥普兰双层场景的非均匀运动 去 模 糊 。 在 Proceedings of the IEEE Conference onComputer Vision and Pattern Recognition，第1115-1122页，2013年。一、三、七[25] M. P. Rao，A. Rajagopalan和G.西塔拉曼从单个运动模糊图像推断平面方向。在模式识别（ICPR），2014年第22届国际会议上，第2089-2094页。IEEE，2014。7[26] C. J.Schule r，M. Hirsch ，S. Harmeling 和B.Schoülk opf. 学 习 解 模 糊 。 IEEE Transactions on PatternAnalysis and Machine Intelligence ， 38 （ 7 ） ： 1439-1451，2016。7[27] Q. Shan，J. Jia，and A.阿加瓦拉高品质的运动去模糊从一 个 单 一 的 图 像 。 ACMTransactions on Graphics（TOG），第27卷，第73页。ACM，2008年。1、7[28] S. Su和W.海德里希滚动快门运动去模糊。2015年IEEE计算机视觉与模式识别会议（CVPR），第1529-1537页。IEEE，2015年。一、四、七[29] L. 孙习Cho，J.Wang和J.海斯基于边缘的模糊核估计使用补丁先验。在计算摄影（ICCP），2013 IEEE国际会议上，第1-8页。IEEE，2013。1[30] Y.-- W. Tai，X.Chen，S.Kim，S.J. Kim，F.Li，J.杨，J.余先生，Y. Matsushita和M.S. 布朗非线性相机响应函数和图像去模糊：理论分析与实践。IEEE transactions on patternanalysis and machine intelligence ， 35 （ 10 ） ： 2498-2512，2013。一、二、四、七[31] Y.-- W. Tai，P. Tan，and M. S.布朗投影运动路径下场景的Richardson-lucy去模糊算法。IEEE Transactions onPattern Analysis and Machine Intelligence，33（8 ）：1603-1618，2011。1[32] O. 怀特，J。Sivic和A.齐瑟曼。去模糊抖动和部分饱和的图像。在Proceedings of the IEEE Work-shop on Colorand Photometry in Computer Vision，with ICCV，2011。4458六、七4459[33] O. 怀特，J。Sivic和A.齐瑟曼。去模糊抖动和部分饱和的图像。国际计算机视觉杂志，2014年。7[34] O. 怀特，J。Sivic，A.Zisserman和J.庞塞抖动图像的非均匀去模糊。IEEE计算机视觉与模式识别会议论文集，2010年。一、二、四、七、八[35] L. Xu和J.贾用于鲁棒运动去模糊的两相核估计欧洲计算机视觉