没有合适的资源?快使用搜索试试~ 我知道了~
消除异构运动模糊的深度学习解决方案
2319从运动模糊到运动流:一种消除异构运动模糊的深度学习解决方案Dong Gong,Jie YangXiang,LingqiaoLiu,YanningZhang,IanReid,ChunhuaShen,Anton van den Hengel,QinfengShi中国西北工业大学计算机科学与工程学院阿德莱德大学,澳大利亚机器人视觉中心https://donggong1.github.io/blur2mflow摘要去除像素级的非均匀运动模糊由于问题的不适定性质而具有挑战性主要的解决方案是通过添加先验来估计模糊核,但是关于该主题的大量文献表明难以识别适当信息量和一般性的先验而不是强加一个先验的理论基础上,我们建议,而不是从数据中学习。学习潜像的先验知识需要对所有可能的图像内容进行建模。然而,支撑我们方法的关键观察结果是,学习运动流可以让模型专注于原因的模糊,而不管图像内容。这是一个更容易的学习任务,但它也避免了迭代过程,通过该过程,潜像先验通常被应用。我们的方法通过全卷积深度神经网络(FCN)直接从模糊图像中估计运动流我们的FCN是第一个通用的端到端映射从模糊的图像密集的运动流。为了训练FCN,我们模拟运动流生成合成模糊图像运动流对,从而避免了人类标记的需要。对具有挑战性的真实模糊图像的大量实验表明,该方法优于国家的最先进的。1. 介绍运动模糊在摄影中是普遍存在的,尤其是当使用诸如手机和车载相机的轻量移动设备时。虽然有迹象表明,该工作得到了国家自然科学基金(61231016,61572405),中国863(2015 AA 016402),ARC(DP 160100703),ARC机器人视觉中心CE 140100016的支持; ARC Laureate Fellowship FL 130100102to I。Reid和ARC DECRA奖学金DE170101259授予L.刘某D.龚是由CSC的奖学金支持。(a) 模糊图像(b)Xu和Jia[42](c)Sun等人[33](d)我们的图1. 一个模糊的图像与异质运动模糊,一个广泛使用的数据集Microsoft COCO [23]。估计的运动流显示在每个图像的右下角。尽管图像去模糊[9,6,42,27,28,10]取得了重大进展,但大多数工作都集中在空间均匀模糊上。已经提出了一些最近的方法[40,12,14,18,26,32]来去除由相机摇摄和/或对象移动引起的空间变化模糊,其中对模糊类型、图像先验或两者都有一些限制性 在这项工作中,我们专注于从由异质运动模糊退化的单个观察中恢复无模糊潜像,即模糊核可以独立地从像素到像素变化真实图像中的运动模糊有多种原因,包括相机[40,47]和物体运动[15,26],导致具有复杂变化的模糊模式(见图1(a))。在实践中,均匀去模糊方法[9,6,42]通常无法去除非均匀模糊(见图1(b))。大多数现有的非均匀去模糊方法依赖于特定的运动模型,例如3D相机运动建模2320[11,40]和分段运动[20,26]。尽管最近的方法[18]使用灵活的运动流图来处理异构运动模糊,但它需要耗时的迭代估计器。除了关于模糊原因的假设之外,大多数现有的去模糊方法还依赖于预定义的先验或手动设计的图像特征。大多数传统方法[9,22,44]需要使用这些预定义的图像先验迭代地更新中间图像和模糊核以减少不适定性。解决这些非凸问题是不平凡的,并且许多真实图像不符合特定模型背后的最近,已经提出了基于学习的判别方法[4,7]来学习模糊图像模式并避免模糊估计的沉重计算然而,它们的表示和预测能力受到其手工设计的特征和简单映射函数的限制。虽然基于深度学习的方法[33]旨在克服这些问题,但它限制性地在块级别进行学习过程,因此无法充分利用来自较大图像区域的上下文信息。总之,现有方法存在三个主要问题:1)可应用的运动类型的范围是有限的,2)手动定义的先验和图像特征可能不反映数据的性质,以及3)需要复杂且耗时的优化和/或后处理。一般来说,这些问题限制了模糊去除方法对真实图像的实际适用性,因为它们往往会导致比它们治愈更糟糕的伪影。为了处理一般的异构运动模糊,基于运动流模型,我们提出了一种基于深度神经网络的方法,该方法能够通过从数万个示例中学习来直接从单个模糊图像中估计像素级运动流图总之,本文的主要贡献是:• 我们提出了一种方法来估计和消除像素级的异构运动模糊的训练simu-lated的例子。我们的方法使用灵活的模糊模型,几乎不对底层图像做任何假设,从而对不同的数据有效。• 我们介绍了一个通用的FCN端到端估计密集的异构运动流从一个单一的模糊图像。超越以往的补丁级学习-在[33]中,我们直接对整个图像进行训练和测试,它利用了更广泛区域的空间上下文,并准确地估计了密集的运动流图。此外,我们的方法不需要任何后处理。2. 相关工作传统的盲图像去模糊为了约束盲去模糊的解空间,一个常见的假设是图像模糊在空间上是均匀的[5,6,9,22,28,10]。已经研究了许多图像先验或正则化器以克服问题的不适定性质,例如总变分正则化器[5,29],高斯尺度混合先验[9]和基于正则化器的N1/N2-范数[19],N0-范数[44,27]和暗通道[28]已经提出了各种估计用于更鲁棒的 核 估 计 , 例 如 基 于 边 缘 提 取 的 最 大 后 验 概 率(MAP)[6,34]、基于梯度激活的MAP[10]、变分贝叶斯方法[21,22,46]等。尽管这些强大的先验和估计器在许多基准数据集上工作得很好,但它们通常具有限制性假设的特征,这限制了它们的实际适用性。为了处理空间变化的模糊,提出了更灵活的模糊模型。在[35]中,投影运动路径模型将模糊图像公式化为一组变换的清晰图像的加权和,该方法在[40]和[45]中被简化和扩展。Gupta等人[11]将相机运动建模为用于非均匀去模糊的运动密度函数。提出了几种局部均匀的基于修补程序的模型[13,12],以减少计算负担。Zheng等人。[47]特别对相机向前运动引起的模糊进行了建模。为了处理由物体运动引起的模糊,一些方法[20,8,15,26]将图像分割成具有不同类型模糊的区域,因此严重依赖于模糊图像的累积分割最近,提出了一种逐像素线性运动模型[18]来处理异质运动模糊。虽然运动被假设为局部线性的,但对潜在运动没有假设,使其足够灵活以处理广泛范围的可能运动。基于学习的运动模糊去除最近,基于学习的方法已被用 于 实 现 更 灵 活 和 有 效 的 模 糊 去 除 。 基 于 高 斯CRF[30]、多层感知器(MLP)[31]和深度卷积神经网络(CNN)[43]等提出了一些用于非盲反卷积的判别方法,这些方法都需要已知的模糊核。提出了一些端到端方法[17,25]来重建无模糊图像,然而,它们只能处理轻度高斯模糊。最近,Wieschollek等人[41]通过使用具有小变化的多个图像中的信息,引入了基于MLP的盲去模糊方法。Chakrabarti[3]训练基于块的神经网络来估计用于均匀运动模糊去除的频率信息。 最相关的工作是一种基于CNN和块级模糊类型分类的方法[33],该方法也专注于从单个模糊图像估计运动流。作者在具有均匀运动模糊的小补丁示例上训练CNN,其中每个补丁被分配一个运动标签,违反了真实数据的性质,忽略了较大区域的对应关系。许多后处理,如磁流变液是需要最终的密集运动流。2321up3Mp3vp3Kp2Kp3 p3DuD+u0位于每个像素处的模糊核(即, K二、0,如果<$(i,j)<$2≥模糊图像清晰图像-运动流对运动流式FCN仿真模糊图像(b)去模糊FCN运动流运动流估计消隐清晰图像非盲反对流清晰图像恢复训练数据(a)学习培训数据生成网络培训图2.概述了我们的计划,异构运动模糊去除。(a)我们使用基于模拟运动流图的示例来训练FCN(b)给定一个模糊的图像,我们使用训练的FCN进行端到端的运动流估计,然后通过非盲反卷积恢复清晰的图像。3. 估计运动流以去除模糊3.1. 一种非均匀运动模糊模型设P×Q表示一般卷积算子,模糊图像Y可以被建模为DvY=K<$X+N,(1)其中,X表示潜在清晰图像,N表示附加清晰图像。(a) 运动模糊和运动流(b) 运动域的噪声,并且K表示对于X中的每个像素具有不同模糊核的异构运动模糊核映射。让图3.运动模糊和运动矢量。(a)模糊的例子因为顺时针旋转。 三个模糊模式的例子,K(i,j)表示来自K的在区域上操作的内核示出了线性模糊核和运动矢量。 模糊核在p1和p3上由相反方向的运动引起,在像素(i,j)处的图像的中心。 因此,在每个像素处,是的,我们有相同的外观。(b)运动流可行域的图解。Y(i,j)=<$K(i,j)(i′,j′)X(i +i′,j + j′).(二)符号我们将其表示为Mp=(up,vp),其特征在于:i′,j′在曝光时间内消除像素P处的移动如果我们有可行域up∈Du和vp∈Dv,则如果我们定义一个算子vec(·)来向量化一个矩阵设y=vec(Y),x=vec(X),n=vec(N),则(1)也可以表示为y=H(K)x+n,(3)MP∈Du×Dv,但将在后面详细介绍。如图3所示,每个像素上的模糊内核显示为仅沿运动轨迹具有非零分量的线轨迹。结果,(2)中的运动模糊Kp可以是表示为[2]:其中H(K)∈RPQ×PQ1,每行对应于一个)..′′Mp(四)(i,j)3.2. 基于运动流估计的1Mp δ(vpi′−upj′),否则,给定一个模糊的图像Y,我们的目标是估计模糊核K,并通过非盲反卷积恢复无模糊的潜像X,该反卷积可以通过解决凸问题来执行(图2(b))。如上所述,核估计是最困难和最关键的部分。基于(1)和(2)中的模型,异质运动模糊可以由一组模糊核来建模,一个模糊核与每个像素及其运动相关联。通过使用线性运动模型来指示成像过程中每个像素其中δ(·)表示狄拉克δ函数。因此,我们可以通过估计来实现异构运动模糊估计对所有像素上的运动矢量进行求和,其结果是M,其被称为运动流。为了表达方便,我们令M=(U,V),其中U和V分别表示水平和垂直方向上的运动图对于任何像素p=(i,j),我们定义Mp=(U(i,j),V(i,j)),其中U(i,j)=up且V(i,j)=vp。Kp(i′,j′)=2322如图2(b)所示,给定模糊图像和估计的运动流,我们可以通过解决非盲反卷积问题来miny−H(K)x2+(x)维运动向量(up,vp),其中up和vp表示x2在水平和垂直方向上的运动(见图3(a))。 通过轻微的滥用1为了简单起见,我们假设X和Y具有相同的大小。用正则化器X1(x)在未知的清晰图像上。在实践中-Tice,我们使用基于高斯混合模型的正则化器作为[48,33].2323u0t=1uu(up,vp),否则。(五)9696 256uconv2 D2x22565124x4uconv3D5125122x2uconv1D512 512++1x1 conv67x72x2 5x5conv1池1 conv22x23x3池2conv31x1 conv72x2 3x3 2x2 3x3 pool3 conv4 pool4conv5图4. 我们的网络结构。模糊的图像穿过层并产生逐像素的密集运动流图。conv表示卷积层,uconv表示分数步长卷积(解卷积)层,其中每个uconv层的n×n表示上采样大小为n。池2和池3顶部的跳过连接用于组合具有不同分辨率的特征。3.3. 用于运动流估计的学习如图3(b)所示I. e.up∈D+={u|u∈Z+,|u|≤umax},令我们工作的主要贡献是展示如何获得-保持导致逐像素运动模糊的运动流场。 为此,我们训练一个FCN来直接估计运动流场的模糊图像。(up,vp)=φ(up,vp)其中. (−up,−vp),如果up<0,设{(Yt,Mt)}T是模糊图像的集合,motion-flow-map pairs运动流图对,我们将其作为训练集。我们的任务是学习从任何观察到的模糊图像Y到底层运动流M的端到端映射函数M=f(Y)。在实践中,挑战是,获得足够多的和不同的真实模糊图像的训练地面实况密集运动流是不可行的。人工标记是不可能的,而通过自动化方法进行图像去模糊训练将使目的落空。为了克服这个问题,我们通过模拟运动流图来生成训练集。 (See第4.2节)。具体地说,我们收集一组清晰的图像{Xn},模拟T运动4. 密集运动流估计4.1. 网络设计该FCN网络的目标是实现从模糊图像到其对应的运动流图的端到端映射。给定任意大小P×Q的RGB图像,使用FCN来估计运动流图M=(U,V),具有与输入图像相同的大小,其中U(i,j)∈D+且V(i,j)∈D,∈i,j. 为了方便起见t nuv对于{X}中的所有图像,总共流{M},然后生成-我们让D = |D +|+的|D v|表示标签总数基于(1)中的模型来选择T个模糊图像{Yt},以及(4)(见图2(a))。运动流的可行域为了简化训练过程,我们在离散输出域上训练FCN。有趣的是,离散输出空间上的分类已经为一些类似的应用取得了一些令人印象深刻的结果,例如。 光流估计[36]和表面正常预测[37]。在我们的工作中,我们对U和V都采用整数域,并将映射M=f(Y)视为多类分类问题。具体来说,我们统一离散化的运动值为整数与1(像素)的间隔,这提供了一个高精度的近似的潜在连续空间。因此,假设水平和垂直方向的最大运动分别为umax和vmax,我们有D u={u|u∈Z,|u|≤umax}且D v={v|v∈Z,|v|≤其中Z表示整数域。如图3(a)所示,任何线性模糊核都是对称的。具有相同长度和相反方向的任何两个运动矢量,例如(up,vp)和(-up,-vp),生成相同的模糊模式,这可能混淆学习过程。因此我们进一步限制了视界中的运动u对于U和V。我们的网络结构类似于[24]中的FCN。 如图4所示,我们使用7个卷积(conv)层和4个最大池化(pool)层,以及3个uconv层来对预测图进行上采样。在[38]之后,uconv表示分数步长卷积,a.k.a. 反卷积我们对所有卷积层使用1个像素的小步幅uconv层使用双线性插值进行初始化,并用于对激活进行上采样我们还添加了skip connections,它将来自不同层的信息组合在一起,如图4所示。最后一个uconv层(conv7 + uconv2)的特征图是一个 P×Q×D 张 量 , 其 顶 部 为 |D+| 特 征 图 的 切 片(P×Q×| D+|)对应于U的估计,其余的|D v|特征图切片(P × Q × |D v|)对应于V的估计。两个单独的soft-max层应用于这两个部分,并利用该方法得到两个信道的后验概率估计令Fu,i,j(Y)表示(i,j)处的像素具有沿水平方向的移动u的概率,并且Fv,i,j(Y)表示(i,j)处的像素具有沿垂直方向的移动v的概率,然后我们使用来自φ(up,vp)=2324yzXXz(a) 清晰图像(b)x和y轴平移(c)z轴平移(d)z轴旋转(e)任意采样运动图5.运动流模拟演示(a)清晰的示例图像和相机的坐标系(b)-(c)采样的运动流和相应的模糊图像,通过模拟沿x和y轴的平移(MT+ MT),翻译沿z轴(MT )和绕z轴旋转(MR )的情况下。(d)基于考虑(6)中所有组件的模型的样本。z z作为最终损失函数的两个通道:沿x或y轴的平移我们描述gener-MT的作用PQ x作为一个例子。 我们先从一个中心取样-L(Y,M)=−(U(i,j)=u)log(Fi=1j=1u∈D+(Y))tral pixel pTx =(iTx,jTx)的基本方法,并给出了一个新的t ttMX 和加速度系数rTx。然后uTx =(UTx,VTx)可以如下PQU(i,j)=(i− i)r+t,V(i,j)= 0。M可以−V(i,j)=v)log(FTx(Y)),TxTxTxTxTyi=1j =1v∈Dv其中,k是指示函数。v,i,j以类似的方式生成。沿z轴的平移沿z轴的平移通常会导致朝向消失点的径向运动模糊模式[47]。 通过忽略语义上下文并假设4.2. 模拟运动流以生成数据简单的放射状图案,MT可以由UT(i,j)=ztTd(i,j)<$(i−iT),VT(i,j)=tTd(i,j)<$(j−jT)其中本节的要点是生成一个数据集,z z z z在不同的图像上获得逼真的模糊模式进行训练。虽然身份证。随机采样可以产生非常多样化的训练样本,由于真实的运动流保留了一些属性,例如分段平滑,我们的目标是设计一种模拟方法来产生反映成像过程中运动的自然属性的运动虽然物体运动[15]可能导致真实图像中的即便如此,如5.5节所示,通过我们的方法生成的数据也可以赋予模型一定的处理对象运动的能力为了简单起见,我们生成3D坐标系,其中原点在相机的光学中心处,xy平面与相机传感器对准,并且z轴与xy平面垂直,如图5所示。 由于我们的目标是图像网格上的运动流,因此我们直接模拟投影在2D图像上的运动流,而不是3D运动轨迹[40]。考虑到围绕x和y轴旋转引起的模糊性[11],我们通过对四个附加分量进行采样来模拟运动流MpTz表示采样消失点,d(i,j)=p(i,j)-p(i,j)pTz<$2是任意像素点(i,j)到消失点的距离,利用pTz和tTz来控制径向图案的形状,反映了运动速度。绕z轴的旋转我们首先采样旋转中心pRz和角速度ω,其中ω >0表示顺时针旋转。令d(i,j)=<$(i,j)−pRz<$2。每个像素处的运动幅度是s(i,j)=2d ( i , j ) tan ( ω/2 ) 。 设 θ ( i , j )=atan[(i−iRz)/(j−jRz)]∈[−π,π],则像素(i,j)处的运动矢量可以生成为URz(i,j)=s(i,j)cos(θ(i,j)−π/2),VRz(i,j)=s(i,j)sin(θ(i,j)−π/2)。我们将对应于运动流模拟的所有参数的统一先验设置为Uniform(α,β)。更多细节可以在补充材料中找到注意,(6)中的四个分量在连续域中模拟,然后离散为整数。训练数据集生成我们使用来自数据集BSD 500 [1]的大小约为300 × 460的200张训练图像作为我们的清晰图像集{Xn}。然后我们独立地模拟-M=MT+MT+MT+MR,(6)最近10,000个运动流图{Mt},范围umax=vmax= 36,并为每个Xn50个运动流图其中,MT,MTMT表示运动流关联,没有重复。 非模糊图像{Xn},利用沿x,y和z轴的平移,分别地,U(i,j)=0和V(i,j)= 0,将i,j用于训练。MR代表绕z旋转的运动轴线我们按如下方式生成每个元素。因此,我们有一个包含10,200个模糊图像运动流对u,i,jzXyzyz2325{Yt,Mt}的数据集用于训练。23262|M|^Σ^^(a)模糊图像(b)地面实况(c)[33],MSE:16.68(d)我们的,MSE:1.05表1.运动模糊估计的评价用估计的模糊核比较恢复图像的PSNR和SSIM数据集度量GTK徐和贾[42]Whyte等人 [第四十届]Xu等人[第四十四届]非MRF[33]patchCNN[33]我们BSD-SPSNR23.02217.77317.36018.35120.48320.53421.947SSIM0.66090.44310.39100.47660.52720.52960.6309BSD-MPSNR24.65519.67318.45120.05722.78922.968323.978SSIM0.74810.56610.50100.59730.66660.67350.72495. 实验我们基于Caffe[16]实现我们的模型,并通过随机梯度下降进行训练,动量和批量大小为1。在BSD上模拟的数据集上进行训练时,我们使用10−9的学习率和2×10105 训练在65个时期后收敛 代码可以在https://donggong1.github.io/blur2mflow.html上找到。图6. BSD-M中合成图像上的运动流估计示例Sun等人的方法。[33]对图像内容更敏感(参见(c)中的黑框)。5.1. 数据集和评估指标数据集我们在合成数据集和真实世界的图像上进行实验。由于真实模糊图像的地面真实运动流和清晰图像很难获得,为了进行一般的定量评估,我们首先生成两个合成数据集,这两个数据集都包含300个模糊图像,其中100个清晰图像从BSD 500 [1]2中随机挑选,每个数据集有3个不同的运动流图。注意,没有两个运动流图是相同的我们用umax=vmax= 36模拟运动流,这与训练集中的运动流相同。为了公平地使用具有较小输出空间的方法[33],我们还为第二个数据集生成了相对温和的运动流,其中umax=vmax=17。这两个分别称为BSD-S和BSD-M此外,我们使用两个合成数据集(MC-S和MC-M)评估了所提出方法的通用化能力,其中60 个模糊图像由来自Microsoft COCO[23]的20个清晰图像和以上运动流生成设置生成。评价指标为了评价运动流的准确性,我们测量运动流图的均方误差(MSE)。具体来说,如果估计...对于流M和地面真值M,MSE被定义为1i,j((U(i,j)-U(i,j))2+((V(i,j)-V(i,j))2,其中|M|表示M中的运动矢量的数量。为评价图像质量,我们采用峰值信噪比(PSNR)和结构相似性指数(SSIM)[39]。5.2. 运动流估计我们首先与Sun等人的方法进行比较。(该方法对小图像块进行训练和测试,并使用MRF来提高整个图像的准确性。它的版本没有MRF后处理(表2示出了BSD-S和BSD-M中所有图像上的估计运动流图的平均MSE。值得注意的是,即使没有任何后处理,如MRF或CRF,比较man-ifests我们估计的运动流图的高质量。此外,即使在更具挑战性的BSD-S数据集上,我们的方法仍然可以产生准确的运动流,其中基于补丁的方法[33]的准确性显著降低我们还在图6中显示了估计的运动流的示例,这表明我们的方法实现了与地面实况非常相似的运动流,并且Sun等人的方法。[33]对图像内容更敏感。从这个例子中,我们可以看到Sun等人的方法。[33]通常低估了运动值并在强边缘附近产生错误,这可能是因为其块级处理被强边缘混淆,并忽略了更大区域中的模糊模式上下文。表2.运动流估计(MSE)的评价数据集patchCNN[33]非MRF[33]我们BSD-S50.116854.48636.6198BSD-M15.638920.77615.2051为了与Xu和Jia[42], Xu等人[44]和Whyte等人[40]的其他盲去模糊方法进行比较,这些方法不估计运动流,我们使用其估计的模糊核直接评估恢复的图像质量。为了公平起见,我们使用具有最小二乘损失函数和高斯混合模型先验的相同非盲反卷积方法[48]来恢复清晰图像。由于非盲解卷积方法可能会限制恢复质量,我们使用地面真实运动流作为参考来评估恢复的图像如图1所示,我们的方法比其他方法产生了更好的结果。2与训练数据集没有重叠。3其他基于运动流的方法[18]的代码不可用。2327(a)模糊图像(b)模糊图像(c)模糊图像(d)模糊图像(e)运动流[33](f)运动流[33](g)运动流[33](h)运动流[33](i)我们的运动流程(j)我们的运动流程(k)我们的运动流程(l)我们的运动流程图7. 真实世界模糊图像的运动流估计示例。从上到下:模糊图像Y,由patchCNN [33]和我们的运动流M估计的运动流。我们的结果在移动物体上更平滑,更准确。5.3. 概括能力为了评估我们的方法在不同图像上的泛化能力,我们使用基于Microsoft COCO [23]的数据集(即MC-S和MC-M)来评估我们在基于BSD 500 [1]的数据集上训练的模型。表3显示了与“patchCNN”[33]的评估和比较。结果表明,我们的方法在两个数据集上稳定地产生高精度。实验结果表明,该方法具有较强的泛化能力。表3.数据集MC-S和MC-M的泛化能力评估最好的结果是粗体。数据集度量GTKpatchCNN非MRF[33]我们MSE–52.123460.93977.8038MC-SPSNR22.62020.17220.21721.954SSIM0.69530.57640.57720.6641MSE–22.438331.27547.3405MC-MPSNR23.82722.18622.02823.227SSIM0.76200.69240.68390.74025.4. 运行时间评估我们通过在配有NVIDIA GeForce 980 Ti显卡的PC上估计60个大小约为640×480的模糊图像的运动流,与相关运动流估计方法[33,18]进行运行时间比较Intel Core i7 CPU对于文[18]中的方法,我们引用其运行时间。请注意,Sun等人的方法和我们的方法都使用GPU来加速计算。如表4所示,[18]中的方法由于其迭代优化方案而花费很长时间我们的方法耗时不到10秒,效率更高than others. patchCNN方法[33]需要更多的时间,因为需要许多后处理步骤。表4. 运行时间比较。方法[第18话][33个]非MRF[33]我们时间(s)150045.218.58.45.5. 真实世界图像的评价由于真实世界的模糊图像的地面实况图像是不可用的,我们只提出了视觉评价和比较,对几个国家的最先进的方法,空间变化的模糊去除。运动流估计的结果我们首先比较所提出的方法与孙等人的方法。[33]关于运动流估计。图7中显示了四个示例。由于Sun等人的方法在局部补丁上执行,因此它们的运动流分量经常被错误估计,特别是当小的局部区域中的模糊模式是微妙或混乱的时,例如具有低照明或纹理的区域。由于通用的端到端映射,我们的方法生成了流畅的自然结果,并且混乱较少。虽然我们只使用平滑变化的运动流来训练我们的模型,但与[33]相比,我们的方法可以在具有运动对象的图像上获得更好的结果。与[18]中的方法相比,Kim等人[18]使用与我们类似的异构运动模糊模型,并且还估计用于去模糊的运动流。 作为他们的代码 如果没有,我们直接对他们的真实世界的数据。图11显示了一个示例的结果与Kim和Lee[18]的结果相比,我们的运动流更准确地反映了复杂的模糊模式,2328(a)图像模糊(b)Whyte et al. [40](c)Sun et al. [33](d)我们的图8.去模糊结果出现在具有相机运动模糊的图像(a)图像模糊(b)Whyte et al. [40](c)Kim和Lee [18](d)Sun et al. [33](e)我们的图9.去模糊结果是在背景上具有强模糊的非均匀模糊图像(a)模糊图像(b)Pan et al. [26](c)Sun et al. [33](d)我们的图10.去模糊是针对运动物体引起的大范围运动模糊的图像Whyte等人[40]的结果包含由于对象运动而引起的严重振铃伪像。我们的方法可以处理背景中的强模糊,并生成更自然的图像。我们进一步比较潘等人的基于分割的去模糊方法。[26]在具有由静态背景上的运动对象引起的大尺度模糊的图像上。如图10所示,由于低估了运动流,Sun等人[33]在Pan等人的结果中。[26],由于分割错误,一些细节丢失。我们提出的方法可以恢复模糊运动前景的细节,并保持清晰的背景作为原始。图11. 与Kim和Lee的方法比较[18]。我们恢复的图像包含更多的细节和更少的伪影。具有相机运动模糊的图像图8示出了包含主要由相机运动引起的模糊的示例由非均匀相机抖动去模糊方法[40]生成的结果遭受严重的模糊,因为其模型忽略了由大的向前运动引起的模糊。与Sun等人[33]的结果相比,我们的结果更清晰,包含更多的细节和更少的伪影。具有对象运动模糊的图像我们在包含对象运动模糊的图像在图9中,6. 结论在本文中,我们提出了一种灵活高效的基于深度学习的方法,用于估计和去除非均匀运动模糊。通过将异质运动模糊表示为逐像素线性运动模糊,所提出的方法使用FCN来估计用于模糊去除的密集运动流图。此外,我们自动生成训练数据与模拟的运动流图训练的FCN。对合成数据和真实数据的实验结果表明了该方法的优越性.(a)模糊图像(b)[18个国家](c)我们(d)[33个](e)[18个国家](f)我们2329引用[1] P. Arbelaez,M.迈尔角Fowlkes和J.马利克轮廓检测和分层图像分割。IEEE Transactions on Pattern Analysis andMachine Intelligence(TPAMI),33(5):898[2] F.布鲁修斯、U. Schwanecke和P.巴特线性运动模糊的盲图像去卷积。在国际计算机视觉、成像和计算机图形学上,第105-119页。Springer,2011.[3] A.查克拉巴蒂盲运动去模糊的神经方法。欧洲计算机视觉会议(ECCV),2016年。[4] A. Chakrabarti,T. Zickler和W. T.弗里曼。分析空间变化模糊。在IEEE计算机视觉和模式识别会议中,第2512-2519页[5] T. F. Chan 和 C.- K. 黄 。 全 变 差 盲 反 卷 积 。 IEEETransactions on Image Processing,7(3):370[6] S. Cho和S.李你快速运动去模糊。SIGGRAPH ASIA,2009.[7] F. Couzinie-Devy,J.孙,K. Alahari和J.庞塞学习估计和消除不均匀的图像模糊。在IEEE计算机视觉和模式识别会议中,第1075-1082页[8] S. Dai和Y.吴去除单个图像中的部分模糊。在IEEE计算机视觉和模式识别会议(CVPR)中,第2544-2551页。IEEE,2009年。[9] R. 费格斯湾辛格A.Hertzmann,S.T. Roweis和W.T.弗里曼。从单张照片中消除相机抖动ACMTransactions onGraphics,2006年。[10] D. Gong , M. 谭 , Y 。 Zhang , 中 国 古 柏 A. van denHengel和Q. 石自动梯度激活的盲图像反卷积在IEEE计算机视觉和模式识别会议(CVPR),2016。[11] A.古普塔,加-地乔希角,澳-地L. Zitnick,M. Cohen和B.使用运动密度函数的单一图像去模糊. 欧洲计算机视觉会议(ECCV),第171-184页,2010年[12] M. 赫 希 角 J.Schule r,S. Harmeling 和B. Sch oülkopf. 快速消除不均匀的相机抖动。IEEEInternationalConference on Computer Vision(ICCV),2011年。[13] M. Hirsch,S. Sra,B. Sc hoülk opf和S. 伤害。空变多帧盲反卷积的有效滤波流程在IEEE计算机视觉和模式识别会议(CVPR),第1卷,第2页,2010年。[14] Z.胡湖,加-地Xu和M.- H.杨单幅模糊图像深度估计与相机抖动去除的联合算法。在IEEE计算机视觉和模式识别会议(CVPR)中,第2893-2900页[15] T. Hyun Kim,B. Ahn和K.李慕动态场景去模糊。在IEEE计算机视觉和模式识别会议(CVPR)中,第3160-3167页[16] Y. Jia、E.Shelhamer,J.多纳休S.Karayev,J.隆河,西-地Gir- shick,S. Guadarrama和T.达雷尔。Caffe:用于快速特征嵌入的卷积架构。arXiv,2014.[17] J. Kim,J. K. Lee和K. M.李你使用非常深的卷积网络实现精确的图像超分辨率。在IEEE计算机视觉和模式识别会议(CVPR),2016年。[18] T. H. Kim和K.M. 李你免分割动态场景去模糊。在IEEE计算机视觉和模式识别会议,2014。[19] D. Krishnan,T.Tay和R.费格斯。盲反卷积使用归一化稀疏 性测 量。在IEEE计算 机视 觉和模 式识 别会议(CVPR)中,第233[20] A.莱文利用图像统计的盲运动去模糊。神经信息处理系统进展(NIPS),第841-848页,2006年[21] A. Levin,Y. Weiss,F. Durand和W. T.弗里曼。盲解卷积算法的理解与评价.在IEEE计算机视觉和模式识别会议(CVPR),第1964-1971页[22] A. Levin,Y. Weiss,F. Durand和W. T.弗里曼。盲解卷积中的有效边缘似然优化。在The IEEE Conference onComputer Vision and Pattern Recognition(CVPR),第2657-2664页[23] T.- Y. 林,M。迈尔,S。贝隆吉,J.Hays,P.Perona,D.Ra-manan , P.Dolla'r 和 C.L. 齐 特 尼 克Microsoftcoco:上下文中的通用对象。在欧洲计算机视觉会议(ECCV)中,第740-755页[24] J.朗,E. Shelhamer和T.达雷尔。用于语义分段的全卷积网络。在IEEE计算机视觉和模式识别会议(CVPR)中,第3431-3440页[25] X.- J. Mao,C.沈,和Y。B.杨图像恢复使用卷积自动编码器与对称跳跃连接。arXiv,2016.[26] J. Pan,Z. Hu,Z.苏,H.- Y.李和M H.杨软分割引导的目标运动去模糊。在IEEE计算机视觉和模式识别会议(CVPR),2016。[27] J. Pan,Z. Hu,Z.苏和M H.杨利用l0正则化强度和梯度先验对文本图像进行去模糊处理. 在IEEE计算机视觉和模式识别会议(CVPR)中,第2901-2908页,2014年。[28] J. Pan,D.孙,H.菲斯特和M H.杨使用暗通道先验的盲图 像 去 模 糊 在 IEEE 计 算 机 视 觉 和 模 式 识 别 会 议(CVPR),2016。[29] D. Perrone和P.法瓦罗总变差盲解卷积:细节决定成败。 在IEEE计算机视觉和模式识别会议(CVPR),第2909[30] 联合施密特角Rother,S.Nowozin,J.Jancsary和S.罗斯鉴别非盲去模糊。在The IEEE Conference on ComputerVision and Pattern Recognition(CVPR)中,第604-611页[31] C. J. Schuler,H. Christopher Burger,S. 伤害,以及B. Scholkopf一种用于非盲图像反卷积的机器学习方法。在IEEE计算机视觉和模式识别会议中,第1067-1074页2330[32] A.塞伦特角Rother和S.罗斯立体视频去模糊。在欧洲计算机视觉会议(ECCV),第558[33] J.孙,W.曹,Z. Xu和J. Ponce.学习卷积神经网络以去除非均匀运动模糊。在IEEE计算机视觉和模式识别会议(CVPR)中,第769-777页。IEEE,2015年。[34] L. 孙习Cho,J.Wang和J.海斯基于边缘的模糊核估计使用补丁先验。在国际计算摄影会议(ICCP),第1-8页[35] Y.-- W. Tai,P. Tan,and M. S.布朗投影运动路径下场景的Richardson-lucy去模糊算法。IEEE Transactions onPattern Analysis and Machine Intelligence(TPAMI),33(8):1603 -1618,2011。[36] J. Walker,A. Gupta,和M。赫伯特从静态图像进行密集光流预测。IEEEInternational Conference on ComputerVision(ICCV),第2443-2451页[37] X. Wang,
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 收起
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
会员权益专享
最新资源
- zigbee-cluster-library-specification
- JSBSim Reference Manual
- c++校园超市商品信息管理系统课程设计说明书(含源代码) (2).pdf
- 建筑供配电系统相关课件.pptx
- 企业管理规章制度及管理模式.doc
- vb打开摄像头.doc
- 云计算-可信计算中认证协议改进方案.pdf
- [详细完整版]单片机编程4.ppt
- c语言常用算法.pdf
- c++经典程序代码大全.pdf
- 单片机数字时钟资料.doc
- 11项目管理前沿1.0.pptx
- 基于ssm的“魅力”繁峙宣传网站的设计与实现论文.doc
- 智慧交通综合解决方案.pptx
- 建筑防潮设计-PowerPointPresentati.pptx
- SPC统计过程控制程序.pptx
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功