没有合适的资源?快使用搜索试试~ 我知道了~
1光场BRDF形状不变的鲁棒能量最小化李泽湘徐正勤RaviRamamoorthi Manmohan Chandraker加州大学圣地亚哥分校{zhl378,zex014,ravir,mkchandraker}@ eng.ucsd.edu摘要针对传统的多视点立体视觉中依赖于朗伯-田光照一致性的问题,提出了高效的优化框架.然而,它们并不考虑复杂的材料特性。另一方面,最近的工作已经探索了PDE不变量的形状恢复与复杂的BRDF,但他们还没有被纳入强大的数值优化框架。我们提出了一个变分能量最小化框架,用于在具有复杂、未知BRDF的多视图立体中进行形状的鲁棒重新加工。虽然我们的配方是一般的,我们证明了它的功效形状恢复使用一个单一的光场图像,其中微透镜阵列可以被认为是一个纯粹的平移多视图立体设置的实现我们的公式自动平衡的贡献,纹理梯度,传统的朗伯光一致性,一个适当的BRDF不变PDE和平滑先验。与以前的作品不同,我 们 的 能 量 函 数 固 有 地 处 理 空 间 变 化 的 BRDF 和BRDOS。合成和真实数据的广泛实验表明,我们的优化框架始终实现低于朗伯基线的误差,而且比以前的BRDF不变重建方法更鲁棒1. 介绍相机相对于场景的运动是从图像中恢复形状的重要线索它形成了多视图立体声的基础,近年来取得了巨大的成功[7,8,9,10]。传统的多视图立体方法依赖于朗伯光一致性的概念,该概念假设跨各种视图的相同3D点的投影的图像强度保持不变。然而,图像形成取决于双向反射分布函数(BRDF),该双向反射分布函数对出射光与入射光能量的比率进行编码,从而取决于观察方向。例如,当观察者相对于光泽对象移动时,考虑光泽对象表面上的光泽高光的运动。朗伯光致一致性相当于假设朗伯BRDF,这是一个骗局,(a) 输入图像(b)我们的方法(c)仅梯度(d)Wang等人[22日](e)Tao等人[18个国家](f)Tao等人[19]图1.我们提出了一个强大的能量最小化框架,在未知的空间变化的BRDF的存在下,从光场的形状恢复。给定输入图像(a),我们的方法通过来自纹理梯度、朗伯光一致性和基于物理的BRDF不变量的能量的明智组合来产生准确的深度图(b)忽略BRDF不变量会导致镜面反射区域(c)中的不正确重建。我们的框架的主要优势是强大的优化相比,以前的方法BRDF不变的重建(d,e)。一个Lambertian方法被示出用于参考(f),其显然不适合于这样的光滑表面。相对于相机运动的稳定功能。近年来,已经提出了关于差分立体的理论,该理论表明即使使用复杂的未知BRDF,也可以通过利用来自对象[5]或相机[3,4]的运动的线索来恢复关于表面的信息。这些理论依赖于微分的线性来隔离几何和反射率的影响,这需要鲁棒的测量设备和计算框架,以便在存在噪声和大运动的情况下适用。消费者光场相机的可用性提供了相机的差分运动的实际实现,因为微透镜阵列可以被解释为经历小平面平移的相机。Wang etal.[22]建议55715572通过假设分段二次补丁模型,这是一个强大的先验,必须仔细平衡对BRDF不变性的立体声表面重建的方法。本文提出了一种能量最小化框架的多视图立体,确保未知的BRDF可以处理,同时继承了强大的计算优势的 传 统 变 种 ( 图 ? ) . 在 第 3.1 节 中 , 我 们 采 用 了Semerjian [15]的变分多视图立体范例,该范例最初是为纹理梯度设计的,最近已扩展到Lambertian光致一致性[13]。我们在第3.2节中增强了它的能量函数,以纳入依赖于表面深度和梯度的BRDF不变关系[3,4,22]。而不是像[22]中那样假设参数曲面先验,我们基于法向发散施加光滑项。此外,第3.3节提出了基于由空间和时间图像导数反映的非朗伯行为的测量来权衡朗伯光一致性和BRDF不变项的相对贡献的机制。我们的框架具有显着的优势,因为以前的作品要么不处理未知的BRDF,或不能使用BRDF不变性在强大的计算框架。相比之下,我们的方法可以处理空间变化的未知BRDFs以及BRDFs,在物理上正确的能量配方。在第4节中,我们证明了我们的方法克服了先前工作的局限性,这反映在即使在非朗伯区域也是准确的重建和不需要敏感调整参数的优化过程中总而言之,我们的主要贡献是:• 一个统一的框架,多视图立体,处理复杂的,未知的BRDF。• 一个强大的能量最小化制定,处理非朗伯效应,噪声和非微分运动,没有限制性的先验。• 从光场恢复形状的准确性和鲁棒性的经验证明2. 相关作品密集多视图重建计算机视觉中的大量文献已经探索了依赖于纹理梯度或朗伯光一致性来恢复密集表面深度的多视图立体算法。我们建议读者参考[14],以了解经典技术的概况。近年来,已经提出了依赖于基于补丁的方法[8]或离散优化方法[10]的算法,以实现高度的准确性。随着社区照片集的广泛使用,这些方法也已成功扩展到大规模互联网规模的数据集[7,9]。另一类方法明确地说明了多视图中的图像形成方程。立体重建Simakov等人提出了一种用于朗伯曲面的密集对应方法,该方法通过一阶球谐近似来考虑环境照明[16]。Wu等人还开发了一般未知照明下的高质量多视图立体重建[26]。基于RGB-D输入的密集重建方法也已经用朗伯着色线索进行了增强[27,28,29]。我们的方法是密切相关的Langguth等人。[13],他们在Semerjian[ 15 ]的基于双三次块的框架中用阴影项增加强度梯度项。然而,他们的方法是基于假设朗伯BRDF。相反,我们的能量函数可以处理未知的,空间变化的BRDF和BRDO,允许在纹理梯度,Lamber tian photoconsistency或复杂的BRDF术语必须占主导地位的区域之间我们假设一个已知的定向光源为我们的方法,而一些上述作品也估计粗略的几何基础上的照明。我们的方法也可以扩展到允许照明估计,但本文的重点是展示BRDF不变性。BRDF不变重建为了处理一般的非朗伯材料行为,由示例性BRDF基组成的表示已广泛用于多视图立体[21]以及光度扩展[30]。镜面或镜面的形状恢复已经在几个早期的作品中考虑过[1,2,12,31]。最近,还提出了一些理论来描述物体[5]或相机[3,4]的差分运动下的形状恢复然而,它们没有伴随着对噪声或不满足差分假设的大运动鲁棒的计算方法。我们的工作使用了受[3,4]启发的微分不变量,但将其置于一个强大的优化框架中。从光场提取物体形状近年来提出了几种光场图像深度估计方法。然而,大多数是基于朗伯假设[6,11,17,19,23,24,25]。其他方法使用漫反射模型[18]或将像素二进制分类为漫反射或镜面反射[20]。我们的BRDF不变项受到[22]的启发,并且我们使用光场相机的相同解释作为平面中的垂直(或窄基线)运动的实际实现。然而,[22]使用限制性二次补丁模型和优化技术,该技术对噪声和参数敏感,用于从不变量恢复实际形状。相比之下,我们提出了一个强大的能量最小化框架的表面重建,可以处理未知的BRDF和均匀地利用线索纹理梯度,朗伯photoconsitism和BRDF不变的关系,如适用。我们的实验证明了我们的公式在表面重建精度方面的实质性好处。因此,我们的方法是第一个框架的BRDF不变多,5573CC^⊤⊤Ejk(u,zu)=Jj(uj)<$Ij(uj)−Jk(uk)<$Ik(uk),(2)(TIVIEW立体或光场重建,其实现了足以用于实际应用的准确性和鲁棒性。3. 鲁棒BRDF不变重建在计算机视觉中,已经使用了两种主要的表面重建方法。一种是通过对图像对之间的密集匹配进行三角测量来估计点云,然后从点云重建表面。另一种是直接从每个视点生成连续曲面,然后融合曲面生成精确的重建。我们的方法采用第二种策略,因为它能够统一处理具有宽基线和窄基线的图像对我们制定的表面重建的能量最小化框架。我们的能量函数由三部分组成:一个逐点纹理梯度项[13,15],一个BRDF不变项[22]和一个边缘-注意,中心视图的Jocabian矩阵将是单位矩阵。为了充分利用单个光场图像提供的多视图的优势,我们通过将每对子视图的梯度投影到中心视图来计算每对子视图的匹配误差 由于我们采用连续表面表示,因此照片一致性E jk可以统一处理具有宽基线和窄基线的图像对,这允许我们在统一的框架内处理单个光场图像的子视图的不同范围的相机运动。3.2. BRDF不变项我们定义f<$=f/s,其中s是像素的大小,f是焦距,我们假设像素是正方形的。设β= 1/f<$。然后,对于透视相机,3D点x=(x,y,z)λ在像素u=(u,v)λ处成像,其中基于法向发散保持平滑项X y令N是由光场相机捕获的视图的集合,并且V是可以在中心视图中看到的像素的集合。我们将z定义为像素的深度。那么,我们的决赛用于多视图重建的能量函数由下式给出u=,v=(4)βz βz假设相机经历平移τ,这相当于将场景移动−τ。然后,位移-E(z,n)=∑(|Ejk(z,u)|+ωu(I,z)E+ηE)。点在图像坐标中的分量由下式给出:Cj,k∈Nu ∈Vk>jBRDFS(一)δu=δxβz=−τβz .(五)其中Ejk、EBRDF和ES分别表示纹理梯度项、BRDF不变项和平滑项。这里ωu(I,z)和η是平衡不同能量项影响的正权重。注意,平滑项和BRDF不变项也包括在求和中,以确保它们的贡献与视图对的数量一致我们提出了适当的加权函数,影响的BRDF不变项变化从朗伯光一致性完全非朗伯。我们现在遵循[4,22]假设图像强度由未知BRDF给出,该BRDF由半角项ρs和朗伯项ρd组成,写作I (u,t)=ρ(x,n,s,v)=(ρd(x,n,s)+ρs(x,n^h^))(n^ ^s),(六)其中n是表面法线,s是光源,v是观察方向,h是半角,而n代表沿n的单位矢量。然后,图像形成方程的全导数导致微分立体关系:3.1. 纹理梯度项强度梯度项是一个有价值的线索,I=(ρ)xτx+(v ρ)yτy+Iτx+Iuβzτy。(七)vβz纹理区域的深度 设u ∈ V是中心视图w中的像素,z是其深度。我们定义uj(z)为像素u在视图j∈ N中的投影。为了简化符号,我们将简单地使用uj代替。在[15]之后,注意由于原点的位置不同,相对于[4,22]的形式略有不同然后我们把来自不同相机的多个方程叠加成一个方程。基于梯度一致性测度的匹配误差Iτ1+I τ1τ 1 τ 11100万美元定义为:Cuuv vIu τm+Iv τmX···τmyβzτm=···∆Im其中Jj(uj)是空间trans-n的雅可比矩阵u v x y(vρ)y形式,其将从视图j到中心视图的梯度ij(uj)映射,其由下式给出:上面的系统是秩亏的,其解为:∂ujvj557411Jj(uj)=u乌鲁河(三)βzλ π=γ+λπ−I中国(8)uj茨布夫vj茨布夫(vρ)x(vρ)yu−Iv5575βzβz^“ s vv^^^^^^βzβzuuuuuXτu|Iux+Ivy−Ij|(十七)uu这导致(2005年)ρ)y=γ3−(1— γ1)Iv(九)(vρ)xγ2−(1— γ1)Iu同时,根据半角BRDF假设,我们将有nHρ=ρs,(10)+其中H=(I-hh<$)(I-vv<$)。结合(10)和(9),我们有γ3−(1— γ1)Iv=nx H12 +nyH22+nzH32 、(11)γ2−(1— γ1)IunxH11+nyH21+nzH31(a) 原始图像(b)BRDF不变(c)ωL(z)其产生(κ1+κ2z)nx+(κ3+κ4z)ny+(κ5+κ6z)nz=0,(12)图2. 从左到右:原始图像、根据真实值形状和法线计算的BRDF不变项的值、根据真实值形状计算的ωL(z)。 据观察,BRDF不变项几乎为零,每-其中,nx,纽约nz是该单位的组成部分,亦不是─其中,ωL(z)的值在镜面附近较高。mal和κ1、···、κ6的形式为辅助材料。这表明,可以实现BRDF不变性通过最小化促使上述不变量获得小值的能量。因此,我们建议:E BRDF =| ( κ1+ κ2z ) n x+ ( κ3+ κ4z ) n y+ ( κ5+κ6z)n z|.(十三)请注意,该术语提供了对曲面深度和法线的约束因此,它包含用于在图像的非朗伯区域中重建的重要的一阶信息,其中传统的朗伯光致一致性将提供不准确的结果。此外,该BRDF不变项在无纹理区域中也很重要,其中(2)的梯度项没有信息。我们注意到,能量(13),这源于一个物理上正确的材料行为模型,适用于空间变化的BRDF。这与先前的作品,如[13],假设一个物体的外观。基于这一观察,我们提出了一种方法来自动平衡BRDF不变性和朗伯光致一致性作为表面重建的驱动因素的贡献基本上,我们将EBRDF与权重函数ωu(I,z)相乘,该权重函数被定义为两个因子ωu(I,z)= ω L(z)ω C(I). (十四)其中ωL(z)基于朗伯BRDF假设,而ωC(I)是简单的颜色启发式。下面我们将分别讨论这两个因素我们从(7)中的微分立体关系注意到,对于在相机的平移运动下的朗伯BRDF的情况,图像强度的总导数必须为零,即,朗伯阴影模型和消失的渐变。上面的能量项是在纯平动的情况下推导出来的,它适用于光。τjIuβzJ+I vy−I j= 0。(十五)βz现场摄像机然而,我们的框架是适用于一般的多视图立体太窄的基线运动是可用的。在这种情况下,BRDF不变项将通过[4]中的理论获得,其方式与本文针对光场图像所呈现的方式相同。设z为像素u的深度。 然后,我们定义如下:决定朗伯光致一致性和BRDF不变性的相对重要性的术语:ω L(z)=min(max(G(z)−θ,0),λ)(16)∑τjτj3.3.组合能量G(z)=5576uuu我们进一步对观察结果进行编码,即使对于非朗伯表面,漫射光一致性在远离镜面高光的区域中也是一个很好由于我们假设(6)中的BRDF模型组合了漫射项和半角项,因此预期除了接近镜面高光的表面区域之外,漫射项将是影响反射的主要因素j∈Nβz βz(17)的直觉如下。当G(z)<θ时,我们将有ωL=0,这表明表面是相当朗伯的,所以我们只优化朗伯光电项。当G(z)> θ+λ时,我们将有ωL=λ,然后我们将BRDF不变项与光致一致性项一起优化,ωL(z)起a的作用。5577uuuuuuuuu常数系数最后,当θ G(z)<θ+λ时,我们联合优化了ωL和EBRDF,使Lam bertian光一致性和BRDF不变性都最小化。为了说明这一点,图2展示了BRDF不变项EBRDF和权重ωL(z)的值,这些值是使用无噪声合成数据的地面实况深度和法线映射计算的。对于非朗伯曲面,BRDF不变项在这里被看作是对象形状的相对鲁棒的度量,其值几乎处处接近于零。另一方面,ωL(z)对于表面的大部分是小的,但是在镜面反射区域附近是高的。ωL(z)的计算需要粗略估计表面的深度。当深度估计不正确时,ωL可能不是镜面区域的鲁棒指示符。在实践中,镜面高光通常在图像中清晰可见,因为它通常构成具有光源颜色的图像的最亮区域。对于白光源的常见选择,如在我们的实验,ωC(I)= min{IR,IG,IB}(a)原始图像(b)良好的(c) 噪声初始化a-tion图3. [22]中具有噪声初始化的合成球体的重建结果。从左到右,合成球体的无噪声图像,使用地面真实法线初始化的重建结果,使用从地面真实法线方向偏离5度的噪声初始化的结果朗伯光致一致性项有一个后续工作,分别采用朗伯和镜面区域的点和线的一致性[18]。然而,BRDF不一定位于一条线上,用于复杂的ma.在镜面反射区域附近应该很大。我们找到这个模拟-这在实践中是非常有效的。我们将讨论ωu(I,z)在实验中的作用,说明它对恢复物体形状细节的影响。最后,为了恢复光滑表面并使重建规则化,我们包括基于法向发散的光滑项,其可以被写为ES(u)=|n^(u)|.(十八)3.4. 优化详情为了优化,我们采用连续曲面表示作为一组双三次曲面片,如下[15]。面片的形状由位于图像网格上的四个节点控制。一个节点由四个值表示:深度、一阶导数和二阶导数。我们优化每个节点的四个值,以获得表面反射结果。 为了使算法更鲁棒,我们使用一种由粗到细的策略,在移动到更细的尺度时细分每个补丁。高斯-牛顿法用于优化。有关优化方法的详细推导,请参见补充资料。3.5. 讨论我们简要地对比了两个重要的非朗伯表面重建的方法,利用在光场相机的子视图的小运动。Tao等人[20]提出了一种使用光场相机的光泽表面重建方法,该方法通过尝试将像素二进制分类为朗伯或镜面,这对于一般的光泽表面来说并不鲁棒代替将像素二元分类为朗伯和镜面反射,这里提出了一个简单但有效的基于物理的权重函数来平衡BRDF不变项和[22]即使他们躺在一条线上,这意味着深度被正确地估计。最近,Wang et al.[22]扩展了[3,4]的理论,提出了一种差分框架,以使用单个光场图像恢复具有空间变化BRDF的表面的形状。然而,他们的方法需要求解一个复杂的微分方程,具有很强的表面形状先验虽然先验避免了模糊性,但它也去除了更精细的细节。此外,对于满意的重建结果,仍然需要中心像素的深度和法线方向的仔细初始化。图3展示了使用不同的不准确法线初始化的合成球体的表面重建结果即使对于简单的形状,将球体表面中心处的法线角度扰动5度也会导致最终重建结果中的伪影。相比之下,我们提出了一个强大的粗到细的优化框架。我们的能量函数有效地平衡了朗伯光致一致性和BRDF不变性,以恢复朗伯和镜面反射区域的精细表面细节4. 实验我们进行实验的合成数据以及几个真实的例子。我们将我们的结果与另外两种方法进行了比较,这两种方法也是为光滑表面设计的,即[18]的点线一致性和[22]的BRDF不变理论。如上所述并在我们的实验中证明,由于能量最小化框架中的原理性和基于物理的公式化,我们相对于那些方法的主要优势是鲁棒性。作为参考,我们还比较了基于纯粹Lambertian假设的方法,即SDC [19]。我们在所有的实验中使用一个已知的定向光源。5578输入图像地面实况我们的方法Wang et al.[22] Tao et al.[18] Tao et al. [19个]图4. 基于合成数据的单视图形状重建结果。从左到右是原始图像,地面真实深度图,使用我们的方法,[22]的BRDF不变方法,[18]的点线一致性方法和[19]的Lambertian方法的重建结果我们观察到,一个强大的优化框架,像我们的帐户未知的BRDF需要产生良好的重建,而无需敏感的参数调整。图5. 各种方法在MERL数据集上的性能。(左)每种材料的平均误差。(右)按类型分组的材料的平均误差。[19]的误差比其他人大,为了更容易可视化,没有包括在右边。模型我们的-满王[22]陶[18]陶[19]兔子0.00110.05510.06400.2262龙0.00250.01940.02470.0432表1. 表面重建误差对应于图4。我们使用均方误差作为度量。4.1. 合成数据实验我们使用具有相对光滑表面的兔子模型和具有复杂纹理和严重自遮挡的龙模型对合成数据进行实验。对于两个合成数据集,我们采用7 ×751mm焦距的相机阵列。 所有图片均为REN-使用Mitsuba渲染器和BRDF进行渲染,BRDF是漫射项和镜面反射项的混合。图4将我们的方法与使用光场相机的其他最先进的深度重建方法进行了比较。从图4中,我们可以看到我们的方法在恢复对象形状的精细细节方面优于传统方法,同时它对镜面高光具有鲁棒请注意,SVBRDF [22]与我们共享相同的BRDF不变项。然而,它没有明确考虑纹理梯度或朗伯光一致性项,它们可能是有益的。此外,诸如[18,19]的现有方法表1显示了图4所示结果的重现性误差。我们观察到,定量的数字反映了上述直觉。也就是说,基于朗伯假设或BRDF变化的非物理处理的方法导致更高的误差。虽然[22]的方法改进了这些方法,但其误差仍然很大,因为它不依赖于稳健的优化方法。相比之下,我们的方法实现了非常低的误差,因为它正确地考虑了BRDF和BRDF变化,同时使用了设计更好的能量函数和更强大的优化框架。为了进一步证明我们方法的鲁棒性,我们使用MERL数据集中的78个BRDF渲染兔子模型。其余22个BRDF被丢弃,因为它们的漫射项太小,因此,对象在定向照明下呈现黑色。结果总结于图5中。我们的方法优于先前的作品,要么不使用基于物理的BRDF不变性,或依赖于较弱的优化方法。我们还按类型对材料进行分组以提供摘要。4.2. 真实数据实验现在,我们在使用Lytro Illum相机采集的几个真实数据集我们首先在烧蚀研究中比较了我们方法的几种变体,以了解其特征和各种术语的相对权衡。5579(a) 输入图像(b)我们的方法(c)漫射阴影(d)仅梯度(e)仅BRDF术语(f)无加权图6.研究各种术语在我们的能量公式中的重要性(a)输入图像。(b)我们的完整方法实现了精确的重构。(c)仅使用类似于[13]的漫反射阴影会导致更大的错误。(d)梯度能量被认为是合理的,在区域远离镜面高光。(e)仅使用BRDF不变项导致过平滑重建。(f)我们框架的自适应确定的合成数据的定量比较见补充资料。(a)输入图像(b)我们的方法(c)无BRDF项图7. 从侧视图比较有和没有BRDF不变项的重建结果。各种能量项的重要性图6给出了表面重建结果之间的定性比较。对于第一列中的输入图像,使用我们提出的方法获得的重构在第二列中示出,其中能量最小化为形式(1)。据观察,物体的形状在漫射和镜面反射区域都被很好地重新覆盖。接下来,我们将BRDF不变项替换为Lamber-tian着色项,以复制[13]的方法。在图6(c)中观察到,重建是不准确的,因为表面非常光滑。接下来,我们将BRDF不变项设置为零,因此,只有梯度和平滑度项驱动优化,类似于传统的多视图立体。所获得的重构如图6(d)所示,并发现在某些漫射区域中是合理的,但由于镜面反射的不正确处理,在光泽区域中存在噪声我们注意到,由于存在对反射效应不变的图像梯度,重建在质量上优于使用不正确的朗伯阴影。但是,光泽区域中的伪影可以通过与BRDF不变项联合优化来减轻,该BRDF不变项在深度和法线之间添加约束,如图6(b)所示。随后,我们保持BRDF不变项和平滑项,但将梯度项设置为零,由此我们在图6(e)中观察到重建是过平滑的。这是预期的,因为BRDF不变项预期仅适用于窄基线配置。urations。接下来,我们移除梯度和BRDF不变项之间的自适应加权ωu(I,z)重建观察到恶化,这表明在我们的优化框架中建立梯度能量,朗伯光一致性和BRDF不变性之间的平衡的作为参考,使用我们的方法和没有BRDF不变项的实现的表面图的剖面图如图7所示。它是清楚地观察到,缺乏BRDF不变性的能量函数导致在镜面反射区域的失真重建。与现有方法的比较图8总结了我们在真实光场图像上的表面重建结果,并与几种现有方法进行了比较。在第2列中,我们展示了我们的方法对不同种类的非朗伯材料(如塑料,陶瓷和橡胶)的几个物体的表面重建结果。注意每个对象的空间变化的重复。在第3列中示出了不使用BRDF不变项的表面重建结果,有效地获得了[15]的方法。我们可以看到,即使对于非朗伯曲面,梯度误差项也可以帮助恢复曲面的大部分。然而,在镜面高光附近存在失真,如果我们将BRDF不变项纳入能量函数,则可以消除接下来,在第4列中,我们与[19]的方法进行比较,该方法假设朗伯BRDF。显然,重建的表面是不准确的,因为没有考虑复杂的材料行为。此外,我们在第5列中与[18]的方法进行比较。我们观察到,重建不如我们的好,因为线一致性假设可能不适用于复杂的材料。最后,第6列显示了[22]的方法。虽然它也使用相同的BRDF不变量,但优化框架不健壮,因此重建精度不如我们的。5. 结论我们提出了一种新的能量最小化的曲面重建框架,5580输入图像我们的方法只梯度陶等。[19] Tao et al.[18] Wang et al. [22日]图8.基于真实数据的单视图形状重建结果从左到右是原始图像,使用我们的方法的重建结果,没有BRDF不变项的我们的方法的重建结果,[19]的Lambertian方法,[18]的点线一致性方法和[22]的BRDF不变方法。空间变化的BRDF和BRDO。它依赖于BRDF不变理论[3,4,22]和最近工作中提出的鲁棒变分最小化方法[15,13]的明智组合,以克服各自的局限性。与为朗伯光电转换设计的方法相比,即使对于复杂的材料行为,我们也提供了精确重建的显著能力。与最近用于光场中BRDF不变性的方法相比我们的方法还自动结合了朗伯光一致性和BRDF不变性的好处,使用一个物理上有意义的标准。我们的前任实验证明了该方法的准确性和鲁棒性。我们目前的方法的一个限制是需要一个已知的远距离定向光源。在未来的工作中,我们建议放松这一假设,通过执行形成一个照明估计使用粗糙的几何形状,与球谐假设来表示一般illumination。我们未来的工作还将考虑扩展BRDF不变性理论和使用多个光场图像的表面重建方法。鸣谢:这项工作得到了ONR资助N 00014152013,NSF资 助 1451828 和 1617234 , Powell-Bundle 奖 学 金 ,Google研究奖和UC San Diego视觉计算中心的支持。5581引用[1] A.布莱克镜面立体声。 在IJCAI,第973-976页,1985中。2[2] A. Blake和G.布雷尔斯塔夫 从镜面反射的几何学。在ICCV,第394-403页,1988年。2[3] M. Chandraker相机运动揭示了未知BRDF形状的什么。在CVPR,第2179-2186页,2014年。一、二、五、八[4] M. Chandraker运动观测器在未知各向同性BRDF的形状上可获得的信息。PAMI,38(7):1283-1297,2016.一二三四五八[5] M. Chandraker,D. Reddy,Y. Wang和R.拉莫-提。物体运动揭示了未知BRDF和照明的形状。在CVPR,第2523-2530页,2013年。一、二[6] C. Chen,H.林,Z. Yu,S. Bing Kang和J. Yu.基于面阵相机双边统计的光场立体匹配。在IEEE计算机视觉和模式识别会议论文集,第1518-1525页,2014年。2[7] Y.古川湾Curless,S. Seitz和R.塞利斯基走向互联网规模的多视角立体。见CVPR,第1434一、二[8] Y. Furukawa和J.庞塞精确、密集和稳健的多视点立体视觉。PAMI,32(8):1362-1376,2010. 一、二[9] M. 格泽尔, J·阿克曼, S. 福尔曼, R. 克劳斯基,F. Langguth ,P. M uandck e和M. 里兹社区照片集的场景再现IEEE Computer,43:48-53,2010。一、二[10] C. Hern a'ndez和G. 我来了照片中的形状:多视图立体管道。在计算机视觉中,计算智能研究第285卷,第281-288311.施普林格,2010年。一、二[11] H.- G. Jeon,J.帕克湾,澳-地Choe,J.帕克湾,澳-地Bok,Y.W. 泰以及I. S.奎恩来自小透镜光场相机的精确深度图估计。2015年IEEE计算机视觉与模式识别会议(CVPR),第1547IEEE,2015年。2[12] J. Koenderink和A.范多恩。与立体形状有关的光度学不变量。Optica Apta,27:981-996,1980。2[13] F. Langguth,K. Sunkavalli,S. Hadap和M. Goesele阴影感知多视图立体。参见ECCV,第469-485页二三四七八[14] S. 塞茨湾Curless,J.Diebel,D.Scharstein和R.塞利斯基多视点立体重建算法的比较与评价见CVPR,第519-526页,2006年。2[15] B.塞默吉安一种新的多视图曲面重构变分框架。在ECCV,第719-734页,2014年。二三五七八[16] D. Simakov,D. Frolova和R.巴斯里在任意未知光照下运动物体的密集形状重建。载于ICCV,第1202-1209页,2003年。2[17] M. Tao,S. Hadap,J. Malik,and R. Ramamoorthi使用光场相机结合散焦和对应的深度。IEEE InternationalConference on Computer Vision(ICCV),2013年。2[18] M. Tao,J. - C.苏,T.- C. Wang,J. Malik,and R.拉莫-提。用于光滑表面的面使用点和线的一致性与光场相机。IEEE TransactionsonPatternAnalysisandMachineIntelligence(TPAMI),2015年。一、二、五、六、七、八[19] M. W. Tao,P. P. Srinivasan,J.马利克,S。Rusinkiewicz和R. Ramamoorthi使用光场角度相干性的阴影、散焦和对应的深度。在2015年IEEE计算机视觉和模式识别会议(CVPR)上,第1940-1948页。IEEE,2015年。 一二五六七 8[20] M. W.陶,T C. Wang,J. Malik,and R. Ramamoorthi利用光场相机对光滑表面进行深度估计。欧洲计算机视觉会议,第533-547页。Springer,2014. 二、五[21] A. Treuille、A. Hertzmann和S.塞茨基于示例的立体声与一般BRDF。ECCV,第457-469页,2004年2[22] T.- C. Wang,M.Chandraker,A.A. Efros和R.拉莫-提。来自光场相机的SVBRDF不变形状和反射率估计。在CVPR中,第5451-5459页,2016年。一二三五六七八[23] T.- C. Wang,中国山核桃A. A. Efros和R. Ramamoorthi使用光场相机的遮挡感知深度估计在Proceedings of theIEEE International Conference on Computer Vision , 第3487-3495页2[24] T.- C. Wang,中国山核桃A. A. Efros和R. Ramamoorthi使用光场相机进行遮挡建模的深度估计。2016. 2[25] S. Wanner和B.戈德卢克全球一致的4d光场深度标记。在计算机视觉和模式识别(CVPR),2012年IEEE会议上,第41- 48页IEEE,2012。2[26] C.吴湾,澳-地Wilburn,Y. Matsushita和C.希奥博尔特高质量的形状从多视图立体和阴影下的一般照明。在CVPR,第969-976页,2011年。2[27] C. Wu,M. Zollh oüfer,M. Nießne r,M. Stamminger,S. Izadi和C.希奥博尔特用于消费级深度相机的实时基于阴影的改进。ACM ToG,33(6):200:1 2[28] D.徐,智-地Duan,J. Zheng,J. Zhang,J. Cai,and T. J.Cham.在一般未知光照条件下,使用阴影和粗糙多视图立体恢复表面细节。在CVPR,第1526-1533页,2014年。2[29] L. F. Yu,S.K. Yeung,Y.W. Tai和S.是林书RGB-D图像的基于阴影的形状细化。在CVPR,第1415- 1422页2[30] Z. Zhou,Z. Wu和P. Tan.具有空间变化的各向同性材质的多视图光度立体。在CVPR,第1482-1489页,2013中。2[31] A. Zisserman,P.Giblin和A.布莱克运动观察者可从镜面获得的信息IVC,7(1):38- 42,1989. 2
下载后可阅读完整内容,剩余1页未读,立即下载
![.zip](https://img-home.csdnimg.cn/images/20210720083646.png)
![rar](https://img-home.csdnimg.cn/images/20210720083606.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://profile-avatar.csdnimg.cn/default.jpg!1)
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
我的内容管理 收起
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助
![](https://csdnimg.cn/release/wenkucmsfe/public/img/voice.245cc511.png)
会员权益专享
最新资源
- 电力电子与电力传动专业《电子技术基础》期末考试试题
- 电力电子技术期末考试题:电力客户与服务管理专业
- 电力系统自动化《电力电子技术》期末考卷习题精选
- 电力系统自动化专业《电力电子技术》期末考试试题
- 电子信息专业《电子技术》期末考试试题解析
- 电子与信息技术专业《电子技术》期末考试试题概览
- 电子信息工程《电子技术》期末考卷习题集
- 电子信息工程专业《电子技术》期末考试试题解析
- 电子信息工程《电工与电子技术》期末考试试题解析
- 电子信息工程专业《电子技术基础》期末考试计算题解析
- 电子技术期末考试题试卷(试卷B)——电子技术应用专业
- 电子科技专业《电力电子技术》期末考试填空题精选
- 2020-21秋《电力电子技术》电机电器智能化期末试题解析
- 电气工程及其自动化专业《电子技术》期末考试题(卷六)
- 电气工程专业《电子技术基础》期末考试试题解析
- 电气自动化专业《电子技术》期末考试试题解析
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035111.png)
安全验证
文档复制为VIP权益,开通VIP直接复制
![](https://csdnimg.cn/release/wenkucmsfe/public/img/green-success.6a4acb44.png)