没有合适的资源?快使用搜索试试~ 我知道了~
光场的挑战:高度不适定的运动去模糊和深度估计
光场Dongwoo Lee1、Haesol Park1、In Kyu Park2和Kyoung Mu Lee11首尔国立大学高等教育研究所欧洲经济学系dongwoo. snu.ac.kr,haesol. gmail.com,kyoungmu@snu.ac.kr2仁荷大学情报通信工学科pik@inha.ac.kr抽象。从单个光场中去除相机运动模糊是一项具有挑战性的任务,因为它是高度不适定的逆问题。当模糊核由于场景深度变化和高阶相机运动而在空间上变化时,问题变得更糟。在本文中,我们提出了一种新的算法来估计所有的模糊模型变量联合,包括潜在的子孔径图像,摄像机运动,和场景深度从模糊的4D光场。利用光场的多视图性质通过利用强深度线索和多视图模糊观察来减轻优化的逆性质。所提出的联合估计实现了高质量的光场去模糊和深度估计同时在任意6自由度相机运动和无约束的场景深度。对真实和合成的模糊光场进行了大量的实验,实验结果表明,该算法优于现有的光场去模糊和深度估计方法。关键词:光场,6-DOF摄像机运动,运动模糊,盲运动去模糊,深度估计1介绍在过去的十年中,运动去模糊一直是计算机视觉中的一个活跃的研究课题。 运动模糊是由曝光过程中相机和场景之间的相对运动产生的,其中模糊核,即 点扩散函数(PSF)是空间非均匀的。在盲非均匀去模糊问题中,同时估计像素级运动去模糊的早期工作[5,8,12,27,36]集中在去除图像中的空间均匀模糊。然而,匀速运动模糊的假设在现实世界中,由于场景深度不均匀和摄像机的滚动运动,经常会发生破碎。最近,已经提出了许多用于非均匀去模糊的方法[9,13-15,17,19,30,33,38]。然而,它们仍然不能完全处理由场景深度变化引起的非均匀模糊。主要的挑战在于仅用单次观察来估计场景深度的困难,这是高度不适定的。光场相机改善了传统相机单次拍摄去模糊问题的病态性。4D光场相当于多视图2D. Lee,H.帕克岛K. Park和K. M. 李(a)(b)(c)(d)图1:所提出的算法从单个光场联合估计潜像、深度图和相机运动。(a)模糊光场子孔径图像的中心视图。(b)(a)的去模糊图像。(c)估计深度图。(d)摄像机运动路径和方向(6-DOF)。具有窄基线的图像,即子孔径图像,以相同的曝光拍摄[23]。因此,使用光场的运动去模糊可以通过其捕获信息的多维性质来首先,通过采用子孔径图像之间的多视图立体匹配来获得强深度线索。此外,子孔径图像中的不同模糊可以帮助优化更快和更精确地收敛。在本文中,我们提出了一种有效的算法,以联合估计潜像,清晰的深度图,和6-DOF相机运动从一个模糊的单一的4D光场,如图1所示。在所提出的光场模糊模型中,潜在子孔径图像通过使用深度图和6-DOF相机运动的中心视图清晰图像的3D扭曲来制定然后,运动模糊被建模为在快门打开期间潜在子孔径图像的积分。注意,与单个图像去模糊相比,所提出的中心视图参数化减少了较低维度中的光场去模糊问题。以交替方式执行联合优化,其中在迭代期间细化去模糊图像、深度图和相机运动所提出的算法的概述如图2所示。总体而言,本文的贡献总结如下。• 我们提出了一个联合的方法,同时解决去模糊,深度估计,和相机运动估计问题,从一个单一的光场。• 与以前的国家的最先进的算法,所提出的方法处理6-DOF相机运动下的盲光场运动去模糊。• 实用和可扩展的模糊公式,可以扩展到任何多视图相机系统。2相关作品传统的单幅图像去模糊。一种有效地去除传统单个图像中的空间变化运动的方法是首先找到运动密度函数(MDF),然后从该函数生成逐像素内核[13Gupta等人[13]在离散3D运动中建模相机运动光场3输入深度初始化联合优化输出图2:所提出的算法的概述。所提出的算法联合估计的潜像,深度图,和相机运动从一个单一的光场。包括x、y平移和平面内旋转空间他们通过迭代优化MDF和最佳描述模糊图像的潜像来执行Hu和Yang [15]使用了类似的模型,其中使用3D旋转来建模。使用MDF的这些方法将空间变化的模糊核很好地参数化为低维度。然而,仅在深度变化图像中使用MDF对运动模糊进行建模是困难的,因为运动模糊由相机运动和场景深度两者确定。在[14]中,图像通过抠图算法进行分割,并且通过期望最大化算法找到每个区域的MDF和一些方法[19,30]局部估计线性模糊核,并且它们对于任意场景深度显示出可接受的结果。Kim和Lee [19]共同估计了空间变化的运动流和潜像。Sun等人。[30]采用了基于卷积神经网络(CNN)的学习方法,并假设运动是局部线性的。然而,局部线性模糊假设在大运动中不成立。视频和多视图去模糊。Xu和Jia [37]根据从立体相机获得的深度图分解图像区域,并在独立去模糊后重新组合它们。最近,几种方法[10,20,24,26,35]已经解决了视频序列中的运动模糊问题。视频去模糊显示出良好的性能,因为它利用了光流作为运动估计的强有力的指导。光场去模糊。采用双平面参数化的光场等效于具有窄基线的多视图图像。它包含了丰富的几何信息的光线在一个单一的拍摄图像。这些多视图图像被称为子孔径图像,并且各个子孔径图像由于视点变化而示出略微不同的模糊图案。在过去的几年中,已经提出了几种方法[6,11,18,28,29]来对光场执行运动去模糊Chandramouli等人[6]首次解决了光场中的运动模糊问题他们假设恒定的深度和均匀的运动,以减轻成像模型的复杂性恒定深度意味着模糊化的光场中心视图图像初始深度图潜像深度图相机运动锐利图像锐利光场清晰深度贴图相机运动初始摄像机运动运动初始化4D. Lee,H.帕克岛K. Park和K. M. 李u光场对三维场景结构的信息很少,这削弱了光场的优势。Jin等人。[18]将深度图量化为两层,并删除每层中的运动模糊。他们的方法假设相机运动是平面内平移,并利用深度值作为平移运动的比例因子。虽然他们的模型处理与深度图相关的非均匀模糊核,但是对于应用于真实世界场景,应该考虑更一般的深度变化和相机运动。Dansereau等人[11]将Richardson-Lucy去模糊算法应用于具有非盲6-DOF运动模糊的光场虽然他们的方法处理6-DOF运动模糊,但假设地面实况相机运动是已知的。与[11]不同,在本文中,我们解决了盲去模糊问题,这是一个更高度不适定的问题。Srinivasan等人[29]解决了3D摄像机运动路径下的光场去模糊问题,并显示出视觉上令人愉悦的结果。然而,他们的方法不考虑相机的3D取向变化。与以往的光场去模糊方法相比,该方法完全处理了6自由度运动模糊和无约束的场景深度变化。3光场中4D光场中的像素具有四个坐标,即 (x,y)表示空间坐标,(u,v)表示角坐标。光场可以被解释为一组具有窄基线的u×v贯穿本文,子孔径图像被表示为I(x, u),其中x =(x,y)和u =(u,v)。对于每个子孔径图像,模糊图像B(x, u)是在快门打开期间在[t0,t1]上的清晰图像It(x,u)的平均值,如下:B(x, u)=∫t1t0I t(x,u)dt。(一)根据[24,26]的模糊模型,我们近似所有模糊子模型。通过利用3D刚性运动投影单个潜像来生成孔径图像。我们选择子孔径图像的中心视图(c)和快门时间的中间值(tr)作为参考角位置和潜像的时间戳。利用上述符号,从每个子孔径图像到潜像Itr(x, c)的像素对应关系表示如下:It(x, u)=Itr(wt(x, u),c),(2)哪里w(x,u)= Π(Pc(P u)−1Π−1(x,D(x,u)。(三)tWt(x,u)计算从u到c以及从t到tr的扭曲像素位置。Πc,Π−1是使用相机内部参数的图像坐标和3D齐次坐标光场5tr不tm的t0t1tmtm矩阵P。和Pu∈SE(3)表示在对应的测量角位置和时间戳。Dt(x, u)是此时的深度图斯坦普试验在该实施例中,通过将(1)中的积分作为有限和来应用,来定义该表达式Ψ(·),如下所B(x, u)≈(Ψ◦I)(x, u),(4)哪里(x, u)=1MMΣ−1m=0I tr(w tm(x,u),c).(五)在(5)中,t,m是在间隔[t〇,t1]期间的第m个均匀采样的时间戳我们的目标是仅用中心视图变量来公式化(Ψ◦I)(x,u),即It(x, c)、Dt(x, c)和Pc。Pu和Dt(x, u)是与u相关的变量r rt0tmmu函数(5)。因此,我们参数化P tm 和Dtm(x, u),通过使用中心视图变量。因为相对相机位姿Pc→u是固定的,随着时间的推移,Pu由Pc和Pc表示如下:u = Pc→uPc 、(6)cmc c−1cPtm= exp(Mlog(Pt1(Pt0)))Pt0,(7)其中exp和log表示李群SE(3)和李代数SE(3)空间之间的指数映射和对数映射[2]。最小化的视点移动对于潜像,我们假设Pc=(Pc)-1,这使得Pc是单位矩阵t1t 0tm当tm=tr.请注意,我们使用[24,26]中使用的相机路径模型然而,在这方面,在[ 29]中使用的模型中的B´eziercamerap也可以直接应用于(7)。Dtm(x,u)也通过前向扭曲和插值表示为Dtr(x,c)。为了估计所提出的光场模糊模型中的所有模糊变量,我们需要恢复潜在变量,即。 I t(x,c)、D t(x,c)和Pc。我们r rt0对能量函数建模如下:Σ ΣE=λu<$(x, u)−B(x,u)<$1u xΣ Σ(八)+λLǁ∇Itr(x,c)ǁ2 +λDXǁ∇D tr(x,c)ǁ2.X数据项在输入的模糊光场和恢复的光场之间施加亮度一致性。请注意,在我们的方法中采用了L1范数,如[19]所示,它有效地去除了对象边界 周围的振铃 伪影最后两 项分别是潜像 和深度图的 总变差(TV)正则化器[1]。P6D. Lee,H.帕克岛K. Park和K. M. 李的t0tr1升t2RIter 1 Iter.3 Iter.5(一)(b)(c)(d)其他事项图3:迭代联合估计的示例所提出的方法收敛于小的迭代次数(a)(b)输入模糊图像并通过迭代去模糊结果。(c)(d)初始模糊深度图和通过迭代的深度估计结果。在我们的能量模型中,Dt(x,c)和Pc隐含地包含在翘曲中rt0函数(5).逐像素深度Dtr(x, c)确定运动在每个像素处。在深度突然变化的对象的边界处,在近和远对象之间存在模糊核大小的大的差异如果在不考虑这一点的情况下执行优化,则在对象的边界处将不能很好地去除模糊。同时优化这三个变量是复杂的,因为翘曲函数(5)具有严重的非线性。因此,我们的策略是以交替的方式优化三个潜在变量。我们最小化一个变量,而其他变量是固定的。依次对这三个变量进行优化(8)。使用迭代重加权最小二乘法(IRLS)[25]近似L1优化。优化过程在少量迭代(10)中收敛<迭代优化的示例在图3中示出,其示出了清晰深度图和潜像的迭代联合估计的益处。来自模糊光场的初始深度图是模糊的,如图3(c)所示。然而,随着迭代继续,深度图和潜像都变得更清晰,如图3(d)所示。4潜在图像、相机运动和深度图的联合估计4.1潜像所提出的算法首先更新潜像Itr(x, c)。在我们的数据项中,模糊算子(5)被简化为线性矩阵乘法,如果Dtr(x, c)和Pc保持固定。更新潜像相当于最小化(8)如下所示MicnItΣKuIc−Buu + λIc。(九)初始迭代1 Iter. 3 Iter. 5初始光场7tr0的t0Ic,Bu∈Rn是矢量化图像,Ku∈Rn×n是方阵形式的模糊算子,其中n是中心视角子孔径图像中的像素数。TV正则化作为一种先验的潜像,具有清晰的边界,同时消除振铃伪影。4.2更新相机姿态和深度图由于(5)是Dt(x, c)和Pc的非线性函数,因此需要近似rt0为了有效计算,以线性形式模拟它。在我们的方法中,模糊操作(5)被近似为一阶展开。设D0(x, c)和Pc表示初始变量,则(5)近似如下:(Ψ◦I)(x, u)=B(x, u)+B0(f∆D(x, c)+<$fε(十))的情况下,哪里0fDtr(x,c)trεt0t0B0(x,u)=(Ψ◦I)(x,u)|Dtr(x,c)=D0(x,c),Pc=Pc,(11)t00注意,f是通过扭曲函数生成的运动流,并且εt。表示se(3)上的六维向量。文[2]给出了与Dtr(x, c)和εt0一旦使用Δ Dtr(x, c)和εt0对其进行近似,则可以使用IRLS对(8)进行优化得到的∆Dtr(x, c)和εt0是电流的增量值Dt(x, c)和Pc。现将其更新如下:rt0Dtr(x, c)=Dtr(x, c)+∆Dtr(x, c),c c(12)其中PcPt0= exp(εt0)Pt0,通过运动矢量εt。的指数映射来更新。图3显示了初始潜变量和最终输出。联合评估后在这种情况下,潜像和深度图都变得干净和清晰。所提出的模糊公式化和联合估计方法不限于光场,而是还可以应用于从立体相机或一般多视图相机系统获得的图像。我们使用的光场的唯一属性是子孔径图像等效于从多视图相机阵列获得的图像。注意,所提出的方法不限于简单的运动路径模型(在se(3)空间中平滑移动)。更复杂的参数计算,例如在priorwork[29]中使用的B′ezier计算,只有当它们可微时才能4.3初始化由于去模糊是一个高度不适定的问题,并且优化是以贪婪和迭代的方式完成的,因此从良好的初始值开始是很重要的8D. Lee,H.帕克岛K. Park和K. M. 李的t0(a)(b)(c)(d)图4:合成光场上的相机运动初始化的示例。(a)输入光场模糊。(b)地面实况运动流。(c)Sun等人[30](EPE= 3.05),(d)建议的初始运动(EPE = 0.95)。在(b)和(d)中,仅使用用于可视化的相机运动的端点来近似线性模糊核。首先,我们使用光场的输入子孔径图像初始化深度图假设相机不移动,并且(8)被最小化以获得初始Dtr(x, c)。最小化(8)变成简单的多视图立体匹配问题。图3(c)示出了呈现出变胖的对象边界的初始深度图。摄像机运动Pc从局部线性模糊核初始化场景深度我们首先使用[30]估计B(x, c)然后,我们拟合由线性内核移动的像素坐标和由扭曲函数重新投影的坐标,如下所示:ΣNminwt(xi, c)−l(xi)二氧化碳不 i=1其中xi是采样像素位置,l(xi)是x i移动通过线性核的端点。通过拟合xi移动ct0wt0(·,c)和d1(·)。Pt0是Wt0(·,c)的唯一变量,因为它是所定义的固定到初始深度图。在我们的实现中,RANSAC被用来找到最好地描述逐像素线性内核的相机运动。N是随机样本的数量,固定为4。图4示出了相机运动初始化的示例。它示出[30]低估了运动的大小(上部蓝色矩形),并在纹理不足的地方产生噪声运动(下部蓝色矩形)。P 0光场95实验结果所提出的算法使用Matlab在具有16 GB RAM的Intel i77770K@4.2GHz上实现,并针对合成光场和真实光场进行评估我们的方法需要30分钟去模糊一个单一的光场。使用Blender[3]生成合成光场,用于定性和定量评估。它包括3种不同场景的6种摄像机运动,每个场景的光场具有480×360子孔径图像的7× 7角结构通过在一系列帧(≥40)上移动相机阵列,然后对各个帧取平均值来模拟合成另一方面,利用Lytro Illum相机采集真实光场数据,生成552×383子孔径图像的7× 7角结构我们使用工具箱[4]从光场生成子孔径图像,该工具箱提供子孔径图像之间的相对相机姿态在场景保持静止的情况下,通过快速移动摄像机来实现光场在我们的实现中,我们固定了除λD之外的大多数参数,使得λu= 15,λc = 1,λL= 5。实际光场(λD= 400)的λD设置为大于合成数据(λD= 20)的值对于去模糊的定量评价,我们使用峰值信噪比(PSNR)和结构相似性(SSIM)。注意,如[21]中所采用的,PSNR和SSIM通过在去模糊图像和地面实况图像(沿着运动路径)之间计算的各个PSNR和SSIM值中的最大(最佳)值来测量用于与光场深度估计进行比较方法,我们使用相对平均绝对误差(L1-rel)定义为L1-rel(D,D)=1|Di−Di|,(14)niDi其中,该计算是将D处的最小深度的相对值计算为D处的最大深度D。摄像机运动估计的准确性通过到地面真实模糊核的终点的平均终点误差(EPE)来测量在我们的评估中,我们通过使用估计的相机运动和地面实况深度生成模糊核的端点来计算EPE我们比较所提出的算法的性能,线性模糊内核的方法,直接计算EPE之间的地面真相和他们的像素模糊内核。5.1光场去模糊真实数据。图5和图6示出了具有空间变化的模糊核的模糊真实光场在图5中,将结果与利用运动流估计的现有运动去模糊方法[19,30]进行比较。实验结果表明,该算法能较好地重建出更清晰的潜像。请注意,[19,30]仅对小模糊内核显示出令人满意的性能。图6示出了与基于全局相机运动模型的去模糊方法的比较结果[14,29]。[29]我只为自己而活。10D. Lee,H.帕克岛K. Park和K. M. 李(a)(b)(c)(d)图5:与局部线性模糊核去模糊方法相比的真实光场数据集的去模糊结果(a)输入图像模糊。(b)Kim和Lee的结果[19]。(c)Sun等人[30]。(d)提出的算法。(a)(b)(c)(d)图6:与全局相机运动估计方法比较的真实光场数据集的去模糊结果。(a)模糊的输入图像。(b)Hu et al. [14]的结果(c)Srinivasan等人[29]第10段。(d)提出的算法。光场11(a)(b)(c)(d)(e)图7:合成光场的去模糊结果(a)模糊的输入光场。(b)Hu等人的结果。[14]第10段。(c)Kim和Lee [19]。(d)Sun等人[30]。(e)提出的算法。由于GPU内存溢出(>12GB),图6(c)的黄色框中显示的裁剪区域需要更大的空间分辨率。[14]假设场景深度是分段平面的。因此,它不能推广到任意场景,从而产生不令人满意的去模糊结果。[29]估计模糊光场的合理正确的照相机运动,同时它们的输出较少去模糊。注意,[29]不能处理旋转相机运动,其产生与平移运动完全不同的模糊核。另一方面,该算法充分利用了6自由度摄像机的运动和场景深度,对任意场景都有较好的效果。实际数据的光场去模糊实验表明,该算法的工作鲁棒性,即使手抖动运动,不匹配的建议的运动路径模型。该算法对自然室内外场景均表现出较好的去模糊性能,证实了该算法对噪声和深度水平的鲁棒性。合成数据。使用合成光场数据集评估所提出的算法的性能,如图7和表1所示。合成数据包括前向运动、旋转运动、面内平移运动以及它们的组合。在图7中,我们可视化并比较了现有运动流方法[19,30]和相机运动方法[14]的去模糊性能在所有示例中,所提出的算法产生比其他算法更清晰的去模糊图像,如裁剪框中清楚地示出的。表1示出了通过测量PSNR和SSIM与地面实况的去模糊性能的定量比较。这表明,建议12D. Lee,H.帕克岛K. Park和K. M. 李表1:对合成光场数据集的去模糊的定量评估(在PSNR和SSIM中)。正转平移正转+旋转正向+传输腐烂+交易。方法PSNR SSIM PSNR SSIM PSNR SSIM PSNR SSIM PSNR SSIM PSNR SSIM输入20.72 0.740 20.37 0.731 21.82 0.758 19.840.72320.300.73119.79 0.728Hu等人[14个]20.00 0.716 19.42 0.704 21.42 0.745 19.180.70119.430.69919.24 0.711金与李[19]20.06 0.721 19.78 0.714 21.42 0.749 19.320.70619.650.70819.34 0.714Sun等人[30个]27.69 0.896 27.68 0.881 25.41 0.856 27.400.87427.230.89926.42 0.868该方法29.24 0.915 29.14 0.913 26.99 0.8760.905 28.910.92227.85 0.893输入(裁剪)21.01 0.758 21.19 0.746 19.39 0.6980.75821.670.78220.50 0.745Srinivasan等人[29日]17.15 0.730 19.02 0.652 16.280.66016.200.72616.38 0.626该方法27.15 0.871 27.32 0.870 25.300.90125.88 0.867联合估计算法明显优于其他算法。Sun等人。[30]实现了与所提出的算法相当的性能,其中CNN在MSE损失的情况下进行训练。其他算法从输入图像实现微小的改进,因为假设的模糊模型是简单的并且与地面真实模糊不一致。为了与[29]进行比较,由于GPU内存溢出,我们将每个光场裁剪为200×200请注意,我们使用[29]的原始设置[29]的输出由于空间视点移位而显示出比输入模糊光场更低的性能。由于在[29]中原点存在于相机运动路径的观察到,这是当估计的3D运动不同于地面实况时降低PSNR和SSIM的附加原因。该算法估计的潜像与可忽略的视点偏移,因为原点位于相机运动路径的中间5.2光场深度估计为了显示光场深度估计的性能,我们将所提出的方法与几种最先进的方法进行了比较[7,16,31,32,34]。为了比较,所有模糊的子孔径图像在运行它们自己的深度估计算法之前使用[30]独立地去模糊。图8示出了由不同方法生成的估计深度图的视觉比较,其确认所提出的算法在准确性和完整性方面产生显著更好的深度图。由于所有子孔径图像的独立去模糊不考虑它们之间的相关性,因此常规的对应关系和散焦提示不产生可靠的匹配,从而产生噪声深度图。只有所提出的联合估计算法的结果在尖锐和unfattened对象边界,并产生最接近的结果,地面真相。深度图估计的定量性能比较在表2中示出。对于每个场景具有三个不同运动的三个合成场景光场13(a)(b)(c)(d)(e)(f)(g)(h)图8:对模糊光场的深度估计结果。(a)中心子孔径图像模糊。(b)地面实况深度。(c)Jeon等人的结果[16]第10段。(d)Williem和Park[34]。(e)Tao等人[31]. (f)Wang等人[32]第32段。(g)Chen等人[7]的文件。(h)提出的算法。表2:深度估计的比较(平均L1-rel误差)。方法正向旋转变换。整体Chen等人[七]《中国日报》0.02510.03260.0331 0.0303Tao等人[三十一]0.02510.03590.0371 0.0327Wang等人[32个]0.03120.03770.0400 0.0363Jeon等人[16个]0.08350.09160.0921 0.0891威廉和帕克[34]0.06150.08950.0966 0.0825该方法0.01980.0150 0.0243 0.0197计算并比较所估计的深度图的平均L1-rel误差比较清楚地表明,所提出的方法在所有类型的相机运动产生的误差最低 注意,第二好的结果由Chen等人实现。[7],其在存在运动模糊的情况下是相对鲁棒的,因为双边边缘保持滤波被用于成本计算。深度估计实验表明,以联合方式解决去模糊和深度估计是必要的。5.3照相机运动估计表3示出了合成光场数据集上的估计运动的EPE。与其他方法[19,30]相比,所提出的方法显著提高了估计运动的准确性。特别地,在旋转运动中获得大的增益,这指示旋转运动不能被准确地建模为[19,30]中使用的线性模糊核。14D. Lee,H.帕克岛K. Park和K. M. 李(a)(b)(c)(d)图9:合成光场的去模糊和相机运动估计结果与[29]的比较(a)输入光场和地面实况相机运动。(b)Srinivasan等人的结果[29](二次)。Srinivasan等人[29](立方)。(d)提出的算法。表3:运动估计的比较(在EPE中)。方法正向旋转平移金与李[19]2.1533.3171.989Sun等人[30个]1.4922.5571.810该方法0.3250.1710.590图9示出了与地面实况运动相比的运动估计结果。由于摄像机方向在摄像机移动时发生变化,因此[29]无法正确恢复6-DOF摄像机运动如图9(b)和图9(c)所示相比之下,所提出的算法收敛到地面真实6自由度运动,也产生尖锐的去模糊结果。6结论本文提出了一种新的光场去模糊算法,该算法联合估计潜像、清晰深度图和摄像机运动。首先,利用3D变形函数对所有模糊子孔径图像进行中心视潜像建模。然后,我们开发了从局部线性模糊核和场景深度初始化6-DOF相机运动对合成光场数据和真实光场数据的测试结果表明,该模型和算法能够很好地适应一般的摄像机运动和场景深度变化。谢谢。这项工作得到了韩国科学和信息通信技术部的视觉图灵测试项目(IITP-2017-0-01780)和三星电子三星研究资助中心的支持,项目编号为SRFC-IT 1702 -06。光场15引用1. Beck,A.,Teboulle,M.:约束全变分图像去噪和去模糊问题的快速梯度算法IEEE Trans.on Image Processing18(11),24192. Blanco,J.L.:关于se(3)变换参数化和流形上优化的教程。马拉加理工大学报告3(2010年)3. Blender在线社区:Blender -3D建模和渲染软件包。阿姆斯特丹Blender研究所Blender基金会(http://www.blender.org4. Bok,Y.,Jeon,H.G.,Kweon,I.S.:基于线特征的微透镜光场相机几何标定。In:Proc. of the European Conference on ComputterVision. pp. 475. Chan,T.F.,黄正光:全变分盲反卷积。IEEE Trans. onImgeProcessing7(3),3706. Chandramouli,P.,Perrone,D.Favaro,P.:光场盲解卷积。Corrabs/1408.3686(2014),http://arxiv.org/abs/1408.36867. 陈春,林,H.,于志,Bing Kang,S.,Yu,J.:利用表面摄像机的双边统计进行光场立体匹配。在:Proc. of the IEEE Conference on ComputerVis isinandPater nRecognitin中。pp. 15188. Cho,S.Lee,S.:快速运动去模糊。In:Proc.ACM Trans.关于Graphics第28卷,第145页(2009年)9. Cho,S. Matsushita,Y.,Lee,S.:从图像中去除非均匀运动模糊。In:Proc. 的IEEEIt e r n nter n V i s o n n的所有Co n f e rn fe rnConfe rnVison。pp.第一10. Cho,S.王杰,Lee,S.:使用基于补丁的合成的手持相机的视频去模糊。ACM Trans. on Graphics 31(4),64(2012)11. Dansereau , D.G. , Eriksson , A. , Leitner , J. : 用 于 移 动 光 场 相 机 的Richardson-lucy 去 模 糊 。 IEEE 计 算 机 视 觉 与 模 式 识 别 研 讨 会 论 文 集(2017)12. 费格斯河辛格湾Hertzmann,A.,Roweis S.T.弗里曼,W.T.:从单张照片中消除相机抖动。上一篇:ACM Trans.关于Graphics vol. 第25页。78713. Gupta,A.,Joshi,N.,Zitnick,C.L.,Cohen,M.,Curless,B.:使用运动密 度 函 数 的 单 幅 图 像 去 模 糊 。 在 : Proc. of the European Conference onComputer Vision. pp. 17114. Hu,Z.,徐,L.,Yang,M.H.:单幅模糊图像深度估计与相机抖动去除的联合算法。在:IEEE计算机视觉和图形学会议的论文集中。pp. 289315. Hu,Z.,Yang,M.H.:利用约束相机姿态子空间的快速非均匀去模糊。In:Proc.英国机器视觉会议卷2,p.4(2012年)16. Jeon,H.G.,帕克,J.,Choe,G.,帕克,J.,Bok,Y.,Tai Y.W. Kweon,I.S.:来自小透镜光场相机的精确深度图估计。在:Proc. of the IEEEConferenceonComuterVis isonandPater nRec o gniton. pp. 154717. Ji,H.,Wang,K.:盲空间变化运动去模糊的两阶段方法。IEEE计算机视觉与模式识别会议论文集。pp. 7318. Jin,M.,Chandramouli,P.,Favaro,P.:利用光场相机的双层盲解卷积。In:Proc.IEEE International Conference on Computer Vision(IEEE计算机视觉国际会议)pp. 1019. 金 T.H.Lee , K.M. : 免 分 割 动 态 场 景 去 模 糊 。 在 :Proc.ofIEEEConFeRénCeonCon PuterVis isinandPater nRecognition 中 。 pp.276616D. Lee,H.帕克岛K. Park和K. M. 李20. 金T.H.Lee,K.M.:动态场景的广义视频去模糊In:Proc.C o m u t e r V i sinceine n fenisinPater nRegnitin。pp. 542621. Küohler,R., Hir sch,M., Mohler,B., S cho?lkopf,B., Harmeling,S. :记录和回放相机抖动:用真实世界的数据对盲反卷积进行基准测试。2722. Ng,R.:数字光场摄影。博士斯坦福大学论文(2006年)23. Ng,R., 莱沃,M.我知道了,M.你好GH 〇r 〇witz,M., Hanrahan,P. :使用手持式全光相机的现场摄影。计算机科学技术报告2(11),1- 11(2005)24. 帕克,H.Lee,K.M.:从模糊图像序列联合估计相机姿态、深度、去模糊和IEEE International Conference on Computer Vision(2017)25. Scales,J.A.,Gersztenkorn,A.:逆理论中的鲁棒方法反问题4(4)、1071(1988)26. Sellent,A.,Rother,C.,Roth,S.:立体视频去模糊。In:Proc. of theEuropean ConferenceonComputerVision. pp. 55827. Shan,Q.,贾,J.,Agarwala,A.:高品质的运动去模糊从一个单一的图像。在:ACM Trans.关于Graphics第27卷,第73页(2008年)28. Snoswell,A.Singh,S.:用于机器人应用的光场去模糊在:Aus-tralasian机器人和自动化会议(2014)29. Srinivasan,P.P.,Ng,R.,Ramamoorthi,R.:光场盲运动去模糊。Proc.IEEE计算机视觉与模式识别会议(2017)30. 孙,J.,Cao,W.,徐志,Ponce,J.:学习用于非均匀运动模糊去除的卷积神经网络。在:IEEE计算机Vision和PatternRecognition会议上。pp. 76931. Tao,M.W.,Srinivasan,P.P.,Malik,J. Rusinkiewicz,S.,Ramamoorthi,R.:使用光场角度相干性的阴影、散焦和对应的深度。IEEE计算机视觉与模式识别会议论文集。pp. 194032. Wang T.C.埃夫罗斯,匿名戒酒会Ramamoorthi,R.:使用光场相机的遮挡感 知 深 度 估 计 。 在 : Proc. of the IEEE International Conference onComputerVision. pp. 348733. Whyte,O.,Sivic,J.,Zisserman,A.,Ponce,J.:抖动图像的非均匀去模糊。InternalJour nalofComuterVison98(2),16834. Williem,Park,I.K.:具有遮挡的噪声场景的鲁棒光场深度估计。IEEE计算机视觉与模式识别会议论文集。pp. 439635. Wulff,J.,布莱克,M.J.:模糊视频的分层建模。In:Proc. of the Euro-peanConferenceonComputerVis is on. pp. 23636. 徐,L.,Jia,J.:用于鲁棒运动去模糊的两阶段核估计In:Proc.of theEuropea nFere nceo nCom uterVisio n.pp. 15737. 徐 , L. , Jia , J. : 深 度 感 知 运 动 去 模 糊 。 In : Proc. of IEEEInternationalCo nfere nceo nCom utati o nalP hoto gray.pp. 138. Zheng,S.,中国科学院,徐,L.,Jia,J.:前向运动去模糊。In:Proc.的IEEE Inter- nati o nalCo nfere nceo nComputerrVis iso n。pp. 1465
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 5
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
- C++标准程序库:权威指南
- Java解惑:奇数判断误区与改进方法
- C++编程必读:20种设计模式详解与实战
- LM3S8962微控制器数据手册
- 51单片机C语言实战教程:从入门到精通
- Spring3.0权威指南:JavaEE6实战
- Win32多线程程序设计详解
- Lucene2.9.1开发全攻略:从环境配置到索引创建
- 内存虚拟硬盘技术:提升电脑速度的秘密武器
- Java操作数据库:保存与显示图片到数据库及页面
- ISO14001:2004环境管理体系要求详解
- ShopExV4.8二次开发详解
- 企业形象与产品推广一站式网站建设技术方案揭秘
- Shopex二次开发:触发器与控制器重定向技术详解
- FPGA开发实战指南:创新设计与进阶技巧
- ShopExV4.8二次开发入门:解决升级问题与功能扩展
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功