没有合适的资源?快使用搜索试试~ 我知道了~
1双镜头相机M. R. Mahesh Mohan、Sharath Girish和A. N. Rajagopalan印度理工学院马德拉斯{ee14d023,ee15b058,raju}@ ee.iitm.ac.in摘要最近,人们重新对杠杆老化多个相机产生了兴趣,但在不受约束的设置下。它们已经非常成功地部署在智能手机中,这已经成为许多摄影应用程序的事实上的选择。然而,类似于普通相机,多相机系统的功能可能被运动模糊破坏,运动模糊是手持相机时代的普遍现象。尽管不受约束的相机阵列具有深远的潜力,但对于这样的系统没有单一的去模糊方法。在本文中,我们提出了一个广义模糊模型,优雅地解释了双镜头设置的内在耦合图像形成模型,这是迄今为止最主要的智能手机。虽然图像美学是正常相机去模糊的主要目标,但针对我们的问题设想的任何方法都另外负责确定去模糊图像中的一致场景深度。我们揭示了一个有趣的挑战,源于一个固有的模糊性独特的这个问题,自然破坏了这种一致性。我们通过设计一个明智的先验来解决这个问题,并基于我们的模型和先验提出了一种实用的双镜头相机盲去模糊方法,达到了最先进的性能。1. 介绍由于相机抖动而导致的运动模糊是手持摄影中普遍存在的现象。盲运动去模糊(BMD)的挑战性问题涉及从单个运动模糊观测估计干净的图像由于大多数计算机视觉作品都是为无模糊图像设计的,BMD是一项持续的研究工作,充满了几种理论和方法[5,23,40,26,48]。大多数现代相机都带有双镜头(DL)配置,可以具有不同或相同的焦距或视场(FOV),曝光时间和图像分辨率(我们称之为无约束设置)。已经有一些作品慷慨地运用了这种灵活性。例如,HDR成像[29,2,43]、低光摄影[47]和立体成像[30]需要不同的曝光具有重叠曝光时间的立体图像;而在超分辨率[14]和视觉里程计[24,13]中,立体图像是以几乎相同的曝光时间捕获的。 智能手机的世界正在经历 不受约束的DL相机的激增,其中几乎所有设备都考虑将窄FOV相机与传统的宽FOV相机配对(用于人像摄影),具有可能不同的分辨率。类似于普通相机([12,56,22,32]),使用DL相机捕获的图像也容易受到运动模糊的影响。然而,不存在一个单一的BMD方法,解决了无约束DL设置的增长DL相机的BMD问题与普通相机中存在的问题相比充满了额外的挑战。首先,DL设置保证基于场景深度的去模糊[51],而普通相机的方法通常与深度无关[26,52,48,9],因为从单个模糊图像恢复场景深度是一个困难的问题[12,9]。其次,DL-BMD的任何方法都必须确保去模糊图像对中的场景一致性差异(类似于光场中的角度相干性[23,40]),这也附带地开辟了许多潜在的应用[14,29,37,24]。这是DL-BMD中的附加符合性条件。当前智能手机流行的窄FOV类型存在进一步的问题。窄FOV相机的焦距越大,相机抖动的影响就越大[48],从而使运动模糊更加严重。此外,摄像机的旋转中心(COR)位于光学中心的假设会显著影响自我运动估计,从而影响去模糊质量[12,10]。在实践中,COR可能位于远处的一个点,例如在手持抖动的情况下摄影师必须指出的是,没有一个现有的BMD方法被设计为处理COR问题。更高的焦距加剧了COR的问题,以及在DL设置。用于普通相机的传统BMD方法将其自身限制于空间不变模糊[6,53,55,46,57,41]。Whyte等人[48]表明运动模糊一般是空间变化的,并且主要由相机旋转引起。这在后来的方法78707871B不eee[26、42、52]。然而,在[18,5,23,40,51]中示出,针对普通相机开发的BMD方法很少成功用于计算相机。这需要新的方法,坚持修改相机的原则,并确保计算数据的连贯性[23,40,51]。对于DL相机的情况,Xuet al. [51]局限于受约束设置,即,需要两台相同的相机同步工作,以便相同的模糊适用于两个图像。重要的是,该方法对模糊施加了强烈的假设,即它主要是由平面内平移引起的(这在实践中并不适用[48]),并且该场景与分层深度平行。最近,已经提出了DL视频去模糊方法[28,34],但是它们解决了动态对象并且需要多个立体图像对作为输入。对于光场相机的情况,现有方法将所有多视图图像约束为共享相同的相机设置和自我运动[18,5,23,40]。虽然由于微透镜设置,该性质是光场相机固有的,但是它不需要适用于不受约束的设置。此外,由于透镜效应,光场的成像原理也大不相同[5,23]。重要的是,没有一种方法(除了[23])适用于我们的问题,因为它们的目标函数保证4D光场[40]或多视图图像具有相同的FOV,分辨率和曝光时间,用于潜在图像[18](或纹理[5])更新。在其他密切相关的作品,胡等人。[11]从单个模糊图像估计干净图像和分层深度。然而,[11]要求模糊主要是由于平面内平移。为了减少不适定性,潘等人。[27]假设准确深度是先验已知的,但这在模糊场景中难以实现[18,12]。此外,该方法强加了由具有可忽略旋转的单个相机姿态参数化的统一自我运动的强烈假设,这在实践中是非常不可能的[16,42,48]。Mathamkode等人[1]提出了一种多镜头BMD的方法,但使用四幅图像并限制于分层深度场景。此外,[1]要求所有图像在几个像素内配准(这在自我运动引起的视差[41]中是可能的,但对于基线引起的视差[3]不在本文中,我们解决了迄今未解决的问题BMD无约束 DL设置。首先,我们提出了一个DL模糊模型,占任意相机时代的设置和COR。其次,我们揭示了在无约 束 暴 露 场 景 下 DL-BMD 中 存 在 的 固 有 不 适 定 性([47,29,30,43,49,54]),这破坏了场景一致性差异。为此,我们设计了一个新的[31,52,6]),并服从有效的LASSO框架。最后,基于所提出的模型和先验,我们开发了一个实用的DL-BMD方法。它消除了[23,11,51]的限制,也解决了COR问题。为了减轻联合优化多个图像或自我运动所带来的处理困难,我们提出了一种将高维BMD问题分解为子问题的策略,同时强制执行先验和凸性。我们的主要贡献概述如下:• 这是首次尝试正式解决无约束相机配置的盲运动去模糊选项。为此,我们引入了一个广义的DL模糊模型,也允许任意COR。• 我 们 揭 示 了 一 个 固 有 的 不 适 定 性 存 在 于 DL-BMD,破坏场景一致的差异。为了解决这个问题,我们设计了一个先验来确保双凸-性质和承认有效的优化。• 利用所介绍的模型和先验知识,我们提出了一种实用的DL-BMD方法,当前DL设置的最先进性能。它确保了场景一致的差异,并解决了COR问题(这是BMD的第一个问题)。2. 无约束DL的运动模糊模型在本节中,我们将介绍DL运动模糊模型及其相应的逐像素映射,考虑具有不同FOV、曝光时间和分辨率的相机。在DL相机设置中,在任何时刻,一个相机将感知相对于参考相机的偏移世界(通过立体基线)。在[23,26,42,52,48]之后,我们认为模糊图像是曝光时间内旋转引起的世界投影的积分,旋转是由相机抖动引起的,但不限制COR仅在光学中心。因此,旋转姿态改变将世界坐标X转换为X′=R(X−lc)+lc+lb,(1)其中,R是对应的旋转矩阵[48],lb是基线向量(对于参考相机,lb=0),lc是无约束COR向量(在世界坐标系中我们用上标n表示相对窄角相机的参数,用上标w表示相对窄角相机的参数。因此,DL运动模糊图像对(Iw和In)(其中考虑了COR)可以表示为B先验,尊重视差的一致性(并且还有助于自我运动估计)。使所得成本高度非凸或保证代价高昂的优化的先验不是我w=B∫∫1wt∈tw.ΣPw Rt(X−lc)+lc dt,(二)[40]第26话,第52话。我们证明了我们的先验是凸的,In= 1P n. R(X-l)+lΣ+1dt,保留双凸性属性(收敛所BNTe t∈tnc c b不7872e其中广角相机被认为是参考(不失一般性)。在实践中,COR(lc)在暴露时间(te)上保持固定[12]。为了简单起见,我们使用Pn(·)和Pw(·)来表示通过将世界投影到窄角和广角ca上而形成的DL图像。mera传感器,分别,也就是说,由论点P Rt(X−lc)+lc+lb表示一个变换映射-pingT(Rt,lc,lb):X→Rt(X−lc)+lc+lb,在世界空间中<$X通常,给定的世界坐标X0根据下式被映射到(齐次)传感器坐标X0:x0=KX0/Z0,其中Z0是场景深度,K是固有相机矩阵(K = diag(f,f,1),f是以像素为单位的焦距)。请注意,不同的图像分辨率是由用于将参数从米转换为像素的比例因子捕获的[48]。结果,对于世界坐标X0,从等式(1)可以明显看出,(2)由于相机运动(或RtX0)和COR(或lc−Rtlc)在窄角相机中被放大fn/fw。 (fn/fw的典型值约为两个在支持肖像的智能手机中,因此加剧了在 补充 中提 供) 。在 空 间坐 标X 处 的点 扩散 函数(PSF)通过叠加针对在曝光时间期间经历的所有姿态变化的X的像素映射来注意空间坐标上的PSF完全表征运动模糊(即,通过PSF和潜像的空间变化卷积获得运动模糊图像)[48,42]。从Eqs的重要见解。(2)-(4)是DL设置中的PSF(以及因此的运动模糊)由于基线和COR是深度变化的,其灵敏度从较远到较近的场景特征增加(除了空间方差之外)。广角图像可以表示为类似于方程:(3)和(4)通过强制lb=0,并且具有不同的投影Pw和投影Pw。3. 一种新的无约束DL-BMD先验在本节中,我们首先尝试使用方程直接公式化成本。(3)-(4)DL-BMD。然后,我们表明,这种方法是站不住脚的无约束DL设置,并保证一个额外的先验。DL-BMD的联合成本为L=Ln+Lw:运动模糊和COR的问题)。Lk=<$Akwk−Ik<$2+λk<$wk<$1+λk <$$> Ik<$1,为了使双镜头运动模糊模型线性化,我们将B2 12C(5)其中,<$Akwk−Ik<$2=<$MkIk− Ik<$2。用Eq表示。 (2)作为 一体化 形象-B2C B2在姿态空间上的投影(而不是在时间上),其中k∈ {n,w},Ik是干净的图像,wk是∫In=wn(p)·Pn. R(X-l)+l+lΣDP,(3)Cwk(p)的向量化形式(其中p是离散的元素BPC C B3 3p∈P3其中P3是覆盖合理的旋转相机姿态的3D空间数量wn(p0)给出了expo的分数,命名为Pd)。费用计算如下:对于k,等式(3)通过扭曲矩阵Ak强制线性关系,其中其第i列包含干净图像Ik的扭曲版本,姿态为wk(i)[48,52],确定相机停留在姿势p0的时间,其中Ck在整个P3上定义的称为运动密度,sity function(sity函数)。该公式可以适应规则和不规则的相机运动(与[18,40,42]不同)。考虑到全3D旋转,适用于窄FOV和宽FOV摄像机[42]。我们现在继续推导DL集合中的像素映射-根据等式(四)、对于干净的图像IC,Eq.(四)实施线性关系(即,空变卷积),其中其第i列包含对应于第i坐标的PSF。术语“1D相机路径”在时间上强制执行1D相机路径表示3D 姿态空间中的稀疏种群的先验,并且KKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKKups. 这是一个与非线性映射对应的映射。C注意AkMk是深度依赖的,是独一无二的[48]这是一个很大的问题。用于创建用于自我运动估计的扭曲矩阵和用于潜像估计的模糊矩阵[26,42,52,48]。的到DL设置,通过Eq. (四)、如前所述,估计的去模糊图像对{In,Iw}必须通过场景一致的显示来关联无C C的窄角系统摄像机运动为x=(1/Z)·Kn(X+lb)(其为ob-1)。通过将R=It∈tn引入等式中得到。(2)译注。 相关-结构,即,窄角摄像机必须能感知到场景定向,由基线lb移位,如由设置广角照相机(例如,In=Pn(X+lb),如果Iw=将上述方程与对应于wC C单个姿态改变(即, R不=R<$t∈tn)得到P(X))。 然而,直接考虑DL-BMD成本,对于估计{In,Iw}是站不住脚的,如下所述(齐次)坐标x的像素映射为C C.x′=λ KnR(Kn) −1 x+1KZn(I-R)lc+1KZn(I-R)lb声明1:这里存在解模糊的多个,DL-BMD成本的图像对(或不适定性)(Lin当量(5)但产生场景不一致的差异。联系我们旋转中心联系我们基线证明:一个理想的解决方案,最大限度地减少方程。(5)Σ7873是(四)其中Z是对应于坐标x的场景深度,λ归一化x′的第三个坐标。(全衍生)一个涉及模糊过程(等式10)。(3)我们称为真图像对{Pn(X+1b),Pw(X)}和真MDF{wn(p),ww(p)}。虽然没有表现出7874pnn地面实况不另行窄角图像与现有广角图像(a) GT图像(b)W/Prior(c)W/o Prior(d)图像补丁图1.提议的优先事项的影响:(a-d)具有(W/)和不具有(W/o)先验的MDF和去模糊图像块(其中所有MDF与地面实况(GT)Wn中心对准以对准左图像)。无先验情况下的最小估计具有随机偏移(图1)。(c))和相应的去模糊图像清楚地揭示了场景不一致的差异(图。(d))。此外,在无先验图像情况下表现出相当大的振铃文物和残留模糊(图。(d))。相比之下,我们提出的DL先验的添加成功地抑制了姿态模糊并提高了定位精度(图2)。(b)),并产生更好的去模糊质量(图。(d))。模糊过程本身,等式(3)可以等价地写为In= Σ wn(p)Pn.Rp R−1Rn(XΣ−lc)+lc+lb,Bn'boughtp真Σ=w n(p)P n. R R−1(R(X−1)+1−l)+lΣ+l,C“我的天c c cb(a) (b)一个不适定的解Xp表观(六)图2.图(a)中的{A,B,C}对应于相同深度处的场景特征(即,相同的差异)。图(b)考虑到其中,窄角镜头的新场景取向是面内旋转模糊度,其中{A,B,C}转换为R(X-l)+l,其中Rf=I。数量R{A′,B′,C′}这显然导致不一致的差异。nc cn n具有改变所有真实姿势的效果,摄像机(Rp,p∈P3)偏移R−1,在Dnturn产生一个转换,它是真实的(因此MDF稀疏成本保持不变)。因此,根据Eq.(6)是图像对{Pn(Rn(X-lc)+lc+lb),Pw(X)},其明显不符合场景一致视差的标准(即,窄角摄像机看到的是另一个场景取向)。此外,由于新的窄角图像是真实窄角图像的扭曲版本,因此它遵循TV先验,因此新的解决方案使Ln最小化。成本Lw保持不变(因为广角图像或广角镜不发生变化)。结果,相同的解决方案使L最小化,这结束了证明。对于广角情况,也会出现类似的模糊性。这是从Eq。(6)强制lb=0,用PW代替Pn。由于成本Ln和Lw(在等式(5))是独立的,姿态Rn不需要等于广角的姿态(Rw)。对于不相等的Rn和Rw,结果图像-对 变 成 {Pn ( Rn ( X−lc ) +lc+lb ) , PW ( Rw(X−lc)+lc)}。遵循证明中的类似步骤,我们可以证明所得解使L最小化,尽管图像对产生场景不一致的视差。我们试图提供一些见解的影响不适定性。考虑正的面内旋转模糊度的情况,其中COR在光学中心。图2(a)示出了具有相同场景深度的三个图像坐标{A,B,C}(即,相同的差异)。图2(b)考虑了旋转模糊性,即,坐标{A,B,C}一BClA= lB =lCLA一BCLCLB一BClA> lB>lCLA一个'B'C'LCLB7875分别映射到{A′,B′,C′}。从图中可以明显看出。2(b)相对于B的景物特征,A的景物特征看起来更远,C的景物特征看起来更远更接近,即使所有场景特征在世界系统中具有相同的深度。请注意,不适定性的存在,无论是相同或不同的曝光时间。此外,不一致的去模糊图像对共享与处理相机的物理未对准的立体校正的经典问题[21,50]相关的所有问题。这些方法通过估计一对用于校正的单应性来工作[50,8]。然而,DL-BMD中的模糊性是不同的,因为它需要由于基线和任意COR而引起的深度变化(四))。我们解决我们的去模糊方法中的不适定性,通过采用一个明智的推导前。为此,我们假设不同相机的曝光时间之间存在重叠。违反该假设的DL设置必须引起显著的重影伪影,因此不是优选的[29]。请注意,与唯一存在的DL-BMD方法[51]中的完全我们的先验是由前面的讨论,在去模糊的图像对将是一致的,如果Rn=Rw。对于相同的曝光时间,该标准要求两个MDF在姿态空间上完全相交为787621BwnB2 2 1重叠曝光时间,两个MDF必须在共享的姿势上相交。因此,我们引入了一个DL先验,对每个单独进行阈值处理。斌在奥普蒂米扎-COR的定义为: Lw+Ln:形式为n−ww<$2。直觉上,先验函数如下:DL-BMD成本可以允许具有显著性的MDF对.Lk=g(Ik)−gLcwk(p)P k(Ik,Z,l)LcΣ(7)严重破坏场景一致性差异的对象相对漂移(例如,见图1(c,d))。然而,这些解决方案lcBpCc2不赞成包括先验知识,因为它迫使所得成本随着相对漂移而增加(例如,见图1(b,d))。所提出的DL先验具有几个期望的性质:如[31,52,6,9]所示,双凸性性质(即,对于给定的干净图像,BMD成本相对于SNR是凸的,反之亦然)通过交替最小化保证收敛我们的最终成本有这个属性。声明2:DL-BMD成本L(公式2)(5))是双凸的,关于图像对{In,Iw}和MDF对{wn,ww}。其中k∈{w,n},g(·)产生一阶和二阶梯度,符号信赖域反射算法[7]用于优化当量(7),其用先前的COR估计初始化对于第一尺度和第一迭代,我们将潜像初始化为相应的冲击滤波模糊图像,将MDF初始化为Kronecker delta,并将COR初始化为光学中心。4.2. MDF和图像的划分策略C C 联合估计多个MDF或图像是计算的,DL先验是凸的,并且当添加到成本L时,具有双凸性。(证据在补充材料中提供。)此外,我们的先验用于在双图像之间赋予强化(通过MDF),其等式。(5)不具有(因为Ln和Lw是独立的)。它有助于自我运动估计,这又导致改进的去模糊(例如,见图1(d))。此外,先验允许有效的LASSO优化(如我们将在第4.2节中看到的)。这是非常低效的,因为优化维度随着每个额外的相机输入线性地放大。为此,我们将DL-BMD成本与先验进行分解,从而保持凸性并且优化维度与正常相机的优化维度保持一致,而不管相机的数量如何。图像和图像估计由下式给出:argmin<$A< $nwn−In<$2+α<$wn−w<$w<$2:<$wn<$1≤λ′n,argminMnIn−In2+λnIn1,4. 一种实用的DL-BMD算法在本节中,我们提出了一个实用的DL-BMD算法,nC B2C2C(八)rithm的无约束相机设置和任意COR(第一种),基于所提出的模型和DL先验(Secs.2-3 )。我们表明,多摄像机BMD问题可以分为子问题(与正常的摄像机BMD相同的尺寸),同时加强DL先验和凸性。我们的方法以尺度空间的方式处理其中,我们在目标中包括了DL先验,但是分离出MDF稀疏先验作为约束。使用权利要求2,我们可以表明,方程2中的个体优化。(8)是凸的。此外,虽然不平凡,但用DL先验估计(在等式中)(8)具有等价物LASSO形式arg minwn <$Kwn−bn<$2:<$wn<$1≤λ′n,使得(证明在补充中提供大模糊[26,52,48,6]。我们采用交替缩小(AM)的深度,COR,曝光和潜像,K=AnTA<$ n+αI,且b=A<$ nTIn+αw<$n。 (九)这个命令。AM的收敛性得到SEC的支持。3,因为解决不适定性强制场景一致的图像对,这反过来又产生一致的深度和COR [12]。由于4.1. 旋转中心估计为了估计COR,我们考虑成本,该成本是模糊图像与使用模糊模型合成的模糊图像之间的最小平方误差(经由等式(3)-(4))和其他未知数的当前估计。我们在图像的梯度域中框定成本以改进条件数[6]。为了确保图像的所有区域都约束COR,图像被分成多个仓,与Eqs.(8)-(9)也适用于其他相机。我们使用标准LASSO求解器[45](以下[48,6])优化了MDF。此外,我们的划分策略将潜像估计转换为TV去模糊的经典 问 题 [4] ( 唯 一 的 区 别 是M n 根 据 DL 模 型 是now),其具有良好的收敛性和有效的求解器[31]。由于图像估计器是独立的,因此可以将它们并行化以提高效率。这些都是可能的,我们的分解的DL-BMD问题,同时执行DL先验。5. 分析和讨论在本节中,我们指出了我们的工作的普遍性,以不同的相机设置。然后,我们分析了我们的先验和COR的效果,并讨论了进一步的影响。Σ我7877PSNR(dB)模糊 无既往病史无COR无既往病史W/CORW/之前无CORW/之前W/COR图像22.3925.6926.5927.2828.88深度28.3323.3523.5929.1230.52表1.我们的方法的定量结果,有和没有DL先验和COR。特别地,我们的DL先验将不适定性降低了很好的幅度(即,7dB,如粗体所示)。通用性:我们的理论和方法直接适用于具有完全不同设置的DL相机。第二,它们对于相同的相机(fn=fw)或相机阵列(多个lb)保持良好,其中曝光不同图3.使用客观测量(PSNR)进行定量评价。我们的方法与最先进的方法相比具有竞争力,并且产生的深度误差最小。(wnww或wn=ww)或相同(wn= ww)。第三,他们推广到成熟的正常相机方法-ods(lb=lc=0和wn=ww)[26,52,48]。 根据先前的讨论,我们提出以下意见。注1:方法[26,52,48]的运动模糊模型仅允许深度不变模型,而DL设置中的运动模糊保证深度变化模型。备注2:方法[26,52,48]的模糊模型用相机姿势调制基线,但它必须独立于DL设置(用于场景一致的视差)。注3:方法[26,48,52]也承认破坏场景一致性差异的不适定性。(附有插图的证明以补充形式提供)。DL先验和COR的有效性:表1总结了图像/深度的PSNR结果(平均五个例子)通过消融DL先验和COR估计器。为了创建合成数据集,曝光重叠和COR分别从10%至100%和-30至30cm立方体随机采样。我们采用的无约束设置 是 窄 FOV 和 宽 FOV 对 , fn= 52 mm , fw=26mm,前者具有两倍的分辨率(如三星S9+)。观察到对于较少先验的情况深度信息被显著破坏(即,PSNR下降了7分贝!).这就强调了解决双镜头BMD中姿态模糊的重要性。此外,去模糊性能在无先验的情况下也下降了2.3dB,这可能是由于窄角和广角成本之间的增强损失(如前所述此外,该表揭示了当COR问题未被解决时,图像和深度精度都恶化,即,图像和深度PSNR分别下降了1.6和1.3 dB。含义:我们的方法可以无缝地解决部分和全部重叠的问题([14,29,47,30,24]),无需任何修改。此外,滚动快门效果在光线充足的场景中是相关的问题,但它们没有针对不受约束的摄像机。他们还需要一个“单应性”的扭曲(如方程。(4)),承认同样的不适定性,因此需要一个类似的前。对于深度学习,Eqs.(2)-(4)可能有助于生成数据集(目前不存在)。图4.使用主观措施进行定量评价(IFC、VIF)。我们的方法以最佳的美学效果执行去模糊。6. 实验结果在本节中,我们将在合成和真实示例上广泛评估我们提出的方法。比较方法:我们认为[26,52]代表正常的相机BMD。对于计算相机,我们考虑了最先进的立体BMD [51]和光场BMD [23]。对于深度感知的情况,我们考虑了单个-图像BMD [11]和多图像法[1]。对于深度学习,我们考虑了[44,25],它们分别代表递归网络和自编码器网络。注意,[5,40]的公开可用代码需要输入4D光场,而[27,18]的代码不可用。注:对于图像的定量评估,我们采用PSNR,IFC [36]和VIF [35]。我们选择IFC和VIF是因为它们被证明是BMD主观评价的最佳指标[17]。对于定性评价,我们提供了从去模糊图像对或通过算法[11,1]估计由于空间的限制,我们考虑所有的方法为一个例子,并提供稀疏的比较。然而,我们的补充资料涵盖了所有方法。定量评价:图3 - 4提供了不同方法的客观和主观测量。 首先,最先进的DL-BMD [51]的测量结果清楚地表明,当它偏离同步和相同相机以及分层深度场景的假设时,其灵敏度很高。这再次强调了对无约束DL-BMD方法的需要。对于普通相机方法[26,52],深度性能存在可感知的下降(由于备注2-3),这清楚地表明它们在DL设置中的不足[1]的深度差,可以归因于它的假设层。7878Blurry image Ours Mohanet al.[23] Panet al. [26] Taoet al. [第四十四届]Xu等[52] Xuet al. [51] Mathamkodeet al. [1] Huet al. [11] Nimishaet al. [25日]Blurry image Ours Mohanet al.[23] Xuet al. [52] Huet al. [第十一届]图5.合成实验:[51,11,1]的方法表现出严重的振铃伪影和不准确的深度估计。[26,52]的结果充分强调了正常相机模型的缺点与深度学习[44,25]和光场BMD [23]相比,我们的方法检索不同的文本信息。此外,我们比较了深度和空间变化的GT和估计的PSF(模糊的插图和我们的结果)。对于[11],它也可能是由于其单一图像限制。 与我们的方法相比,[23]并不十分成功(即,图像/深度PSNR小2.37/4.47dB)。这可以归因于它的镜头效应和假设同步和相同的相机设置。我们的方法优于深度学习方法[25,44],3 .第三章。50dB和2. 72dB的图像和4。39dB和4. 深度分别为36dB基于[25,44]的声明,它们很好地概括了真实捕获的图像,这种性能下降可能是由于独特的字符-无约束DL模糊的特性。定性评价:图5 - 6提供了合成[33]和真实实验的视觉结果。我们希望强调,去模糊中的振铃伪影主要是由自我运动误差引起的,这可能是由于不准确,速率模糊/自我运动模型或优化无效。 可以看出,深度估计对振铃伪影也很敏感;一个原因可能是,振铃使深度估计所需的特征匹配率降低。[51,1]的去模糊图像表现出严重的振铃伪影(可能是由于对场景和自我运动以及捕获设置的假设)。此外,请注意[11]产生错误的分层深度估计(例如,越近的距离,越远的距离,越近的距离,越远的距离。6,第一排,吊灯)。这是由于其对用于深度感测的单个图像线索的唯一限制。[23,26,52]的结果充分证明了双透镜设置中光场和单透镜BMD的不适当性,其中去模糊在不同深度水平上不均匀(例如,在图5的第五行中,较近的书和较远的窗口没有同时被考虑),7879Blurry image Ours Mohanet al.[23] Panet al. [26] Huet al. [第十一届]Blurry image Ours Xuet al.[51] Xuet al. [52] Taoet al. [第四十四届]Blurry image Ours Mohanet al.[23] Mathamkode等人。[1] Huet al. [第十一届]图6.真实实验:(第一行-室内场景,第二和第三行-室外场景)。与竞争方法相比,我们的方法能够在不同的深度范围内恢复更精细的特征,并且能够忠实地保留深度信息。表现出可感知的振铃伪像,(例如,在图6中,第一排,在枝形吊灯上方)。深度学习方法的视觉结果[25,44]再次证明它们不足以处理DL模糊。当与所有示例上的计算方法相比时,很明显,我们的DL去模糊方法一致地考虑了不同深度处的特征,产生较少的振铃伪影,并且完全忠实地保留了一致的深度信息。(请参阅我们的补充资料,以了解进一步的分析和例子。7. 结论在本文中,我们解决了无约束的双摄像机设置的盲运动去模糊的问题。我们的算法允许模糊过程中的任意CORCESS并被合并到优化流水线中。我们揭示了一个内在的模糊性的BMD问题,阻碍了嵌入在图像对的场景一致的深度线索。为此,我们引入了一个凸和计算效率的先验。我们展示了所提出的先验的功效,其强制执行场景一致的视差,从而改善去模糊。与现有的最先进的方法的综合比较充分证明了我们的方法的优越性和必要性。随着越来越多的现代相机采用双镜头结构,我们的理论和方法将非常相关的指导在这一领域的进一步研究。鸣谢:第一作者感谢谷歌的旅行资助,印度&MHRD的博士奖学金。7880引用[1] M. 阿伦A.N. Rajagopalan和Gunasekaran Seetharaman。3d场景的多镜头去模糊。在IEEE国际计算机视觉会议(ICCV)研讨会上,第19-27页,2015年。二、六、七、八[2] MichelBátz, ThomasRichte r , Jens-UweGarbas , AntonPapst,JürgenSeile r,andAndr e'Kaup. 从立体摄像机设置的高 动 态 范 围 视 频 重 建信 号 处 理 : ImageCommunication,29(2):191-202,2014. 1[3] ThomasBrox , Andre 'sBruhn , NilsPapenberg ,andJoachimWeickert.基于翘曲理论的高精度光流估计。欧 洲 计 算 机 视 觉 会 议 ( ECCV ) , 第 25-36 页 。Springer,2004. 2[4] Tony F Chan和Chiu-Kwong Wong。全变分盲反卷积。IEEE图像处理学报,7(3):370-375,1998年。三、五[5] Paramanand Chandramouli , Meiguang Jin , DanielePerrone,and Paolo Favaro.全光图像运动去模糊。IEEETransactions on Image Processing,27(4):1723一、二、六[6] 赵成贤和李承京。快速运动去模糊。ACM Transactionson Graphics(TOG),28(5):145,2009。一、二、五[7] Thomas F Coleman和Yuying Li。有界非线性极小化的内信赖域方法SIAM Journal on optimization,6(2):418-445,1996.5[8] Andrea Fusiello,Emanuele Trucco,and Alessandro Verri.立体声对校正的一种紧凑算法。机器视觉与应用,12(1):16-22,2000. 4[9] 安基特·古普塔,尼尔·乔希,C·劳伦斯·齐特尼克,迈克尔·科恩和布莱恩·库利斯。利用运动密度函数的单幅图像去模糊。欧洲计算机视觉会议,第171-184页。施普林格,2010年。一、五[10] Sung Hee Park和Marc Levoy基于陀螺仪的多图像去卷积消除握手模糊。在IEEE Conference on Computer Visionand Pattern Recognition(CVPR)中,第3366-3373页,2014年。1[11] 胡哲,李旭,杨明轩。单幅模糊图像的联合深度估计和相机抖动去除。在IEEE计算机视觉和模式识别会议中,第2893-2900页,2014年。二、六、七、八[12] 胡哲,陆远,林志颖,杨铭轩。使用智能手机惯性传感器的图像去模糊。在IEEE计算机视觉和模式识别会议(CVPR),第1855-1864页,2016年。一、二、三、五[13] Ganesh Iyer , J Krishna Murthy , Gunshi Gupta ,Madhava Krishna,and Liam Paull.自我监督端到端视觉里程计的几何一致性。在IEEE计算机视觉和模式识别研讨会会议上,第267-275页1[14] Daniel S Jeon,Seung-Hwan Baek,Inchang Choi,andMin H Kim.利用视差先验增强立体图像的空间分辨率在IEEE计算机视觉和模式识别会议,第1721-1730页1、6[15] Neel Joshi , Sing Bing Kang , C Lawrence Zitnick 和 RichardSzeliski。利用惯性测量的7881测 量 传 感 器 。 ACM Transactions on Graphics(TOG),29(4):30,2010. 1[16] 罗尔夫·科勒,迈克尔·赫希,贝蒂·莫勒,伯恩哈德·肖尔·科普夫和斯特·弗·安·哈梅林。相机抖动的记录和回放:用真实世界的数据库对盲反卷积进 行 基 准 测 试 。 欧 洲 计 算 机 视 觉 会 议(ECCV),第27-40页。Springer,2012. 2[17] Wei-Sheng Lai , Jia-Bin Huang , Zhe Hu ,Narendra Ahuja,Ming-Hsuan Yang.单幅图像盲去模糊的比较研究。在IEEE计算机视觉和模式识别会议(CVPR),第1701-1709页,2016年。6[18] 李东宇,朴海索尔,朴仁圭,李庆武。光场联合盲运动去模糊及深度估计。欧洲计算机视觉会议(ECCV),第288-303页。Springer,2018. 二、三、六[19] 李冰,林嘉文,施博信,黄铁军,高文,郭杰。深度感知立体视频重定向。在IEEE计算机视觉和模式识别会议中,第6517-6525页,2018年。5[20] 刘策等超出像素:为运动分析探索新的表示和应用。博士论文,麻省理工学院,2009年。5[21] Charles Loop和Zhengyou Zhang。计算校正单应性立体视觉。 在IEEE计算机视觉和模式识别会议(CVPR),第1卷,第125-131页,1999年。4[22] 吕佩英,黄子焕,吴孟松,郑怡婷,庄永玉。手持相机的高动态范围图像重建在IEEE计算机视觉和模式识别会议(CVPR)中,第509-516页1[23] M. R. Mahesh Mohan和A. N.拉贾哥普兰分而治之,实现全分辨率光场去模糊。在IEEE计算机视觉和模式识别会议(CVPR),第6421-6429页,2018年。一二六七八[24] 莫家伟和朱奈德·萨塔尔。Dsvo:直接立体视觉里程计。arXiv预印本arXiv:1810.03963,2018。1、6[25] T. M. Nimisha,Akash Kumar Singh,and A.N. 拉贾哥普兰用于盲去模糊的模糊不变深度学习。在IEEE国际计算机视觉会议(ICCV),第4762-4770页六七八[26] 潘金山,孙德清,汉斯佩特·菲斯特,杨明轩.使用暗通道先验的盲图像去模糊。在IEEE计算机视觉和模式识别会议(CVPR),第1628-1636页,2016年。一二三五六七八[27] 潘丽媛,戴玉超,刘苗苗。基于深度图的单幅图像去模糊和摄像机运动估计在IEEE计算机视觉应用冬季会议,第2116-2125页,2019年。二、六[28] Liyuan Pan , Yuchao Dai , Miaomiao Liu , a
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 5
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
- ExtJS 2.0 入门教程与开发指南
- 基于TMS320F2812的能量回馈调速系统设计
- SIP协议详解:RFC3261与即时消息RFC3428
- DM642与CMOS图像传感器接口设计与实现
- Windows Embedded CE6.0安装与开发环境搭建指南
- Eclipse插件开发入门与实践指南
- IEEE 802.16-2004标准详解:固定无线宽带WiMax技术
- AIX平台上的数据库性能优化实战
- ESXi 4.1全面配置教程:从网络到安全与实用工具详解
- VMware ESXi Installable与vCenter Server 4.1 安装步骤详解
- TI MSP430超低功耗单片机选型与应用指南
- DOS环境下的DEBUG调试工具详细指南
- VMware vCenter Converter 4.2 安装与管理实战指南
- HP QTP与QC结合构建业务组件自动化测试框架
- JsEclipse安装配置全攻略
- Daubechies小波构造及MATLAB实现
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功