没有合适的资源?快使用搜索试试~ 我知道了~
光度立体的简化与变分方法在一般光照下的应用
8539一般光照下的变分无标定光度立体BjoernHaefner,1ZhenzhangYe,1MaolinGao2T aoWu1Y vainQue' au3DanielCremers11慕尼黑工业大学2Artisense3 GREYC,UMR CNRS 6072{bjoern.haefner,zz.ye,tao.wu,cremers}@ tum.deensicaen.frmaolin@artisense.ai摘要光度立体(PS)技术如今仍然受限于理想的实验室设置,其中照明的建模和校准是可接受的。为了消除这些限制,我们提出了一个有效的原则变分方法,一般照明下的未校准PS为此,朗伯反射率模型通过球谐展开来联合恢复的形状,反射率和照明,然后制定为一个单一的变分问题。在那里,直接根据底层透视深度图进行形状估计,从而隐含地确保可积分性并绕过对随后的正常积分的需要为了解决由此产生的非凸问题的数值,我们undertake一个两阶段的程序来初始化一个气球样的透视深度图,其次是一个实验验证了该方法的有效性和鲁棒性。在各种评估中,与最先进的技术相比,我们能够将平均角度误差consideration降低2-3倍1. 介绍光度立体技术的目标是同时获取场景的形状和反射率。为此,在相同视角但变化照明下获取多个然而,解决这个逆问题的经典方法需要高度控制照明,这将实际应用限制在实验室设置中,必须进行仔细的照明校准。本研究工作的目的是简化整体光度立体管道,通过提供一个有效的解决方案,在一般照明下的未校准的光度立体,如图1所示(代码已发布1)。与同一方向的现有努力相比,拟议的努力有以下优点:*作者贡献均等。1https://github.com/zhenzhangye/general_upsI1I2. . .I M. . .反射率形状图1.本文提出了一种有效的变分方法来求解一般光照下的未标定光度立体.给定从相同视角但在未知的变化的一般照明下捕获的一组输入RGB图像(顶部,M=20图像在日光下在办公室中获取,同时自由移动手持LED光源)、精细详细的反射率和形状(底部,我们示出了估计的反照率和透视图深度图)通过端到端变分方法来恢复• 形状、反射率和一般照明的联合估计被公式化为端到端的、物理上透明的变分问题;• 恢复表示为深度图的真实3D表面,而不是可能不可积分的法线;• 由于采用了Cauchy鲁棒M-估计和Huber-TV正则化方法,该方法具有很强的鲁棒性• 它是计算效率,由于定制的滞后块坐标下降计划初始化使用一个简单的气球状形状。在回顾了第2节中的相关工作之后,我们在第3节中讨论了这项工作中考虑的图像形成模型。它可以使用第4节中的变分方法进行反演。然后在第5节中介绍了专用的数值解,并在第6节中进行了经验评估。第七部分是本研究的结论。输出输入85402. 相关工作场景的3D模型在许多应用中是必不可少的,例如视觉检查[14]或使用增强现实的计算机辅助手术[12]。3D模型由几何(位置、方向等)组成。和光度(颜色、纹理等)特性.给定一组照片,3D扫描的目的是反转图像形成过程,以便恢复观察到的场景的这些几何和光度特性。因此,该概念包括3D重建(几何)和反射率估计(光度测量)的概念。已经研究了从照片进行3D重建的问题的许多方法,并且它们被归类在通用名称“从X形成形状”下运动[35]、焦点[36]、轮廓[21]等)。几何形状从X技术是基于识别和分析的特征点或区域的图像。相比之下,光度技术建立在对由相机的传感器的每个感光点接收的光的量的分析的基础在测光技术中,阴影恢复形状可能是最著名的一种。这项技术,在70年代开发的霍恩等人。 [25],包括从阴影场景的单个图像进行3D重建。这是一个典型的不适定反问题,其数值求解通常需要已知表面为了限制从阴影恢复形状的模糊性并允许自动反射率估计,已经建议不仅考虑场景的一个图像,而且考虑从相同视角但在变化的照明下获取的几个图像。这种变体在70年代后期由Woodham [50]引入,被称为光度立体。在上面提到的各种从X形成形状的技术中,光度立体是唯一的3D扫描技术,即,唯一一个能够实现三维重建和反射率估计。然而,早期的光度学方法强烈依赖于照明的控制。为了简单起见,后者通常被假设为是方向性的,尽管附近点光源的情况最近重新获得了一些关注[31,33]。更重要的是,假设照明是校准的。实际上,未校准问题是不适定的:潜在的法线映射只能被估计到线性模糊度[20],如果强制可积性[ 9 ],则该线性模糊度降低到广义浅浮雕模糊度。为了解决后一种模糊性,必须引入场景表面或几何形状的实施不可整合性的自然方式包括遵循光度立体的差分方法[11,32],即,直接估计3D表面作为深度图,而不是首先估计表面法线,然后将它们积分。光度立体的这种差分方法可以与变分方法,以便以稳健的方式迭代地细化深度、反射率和照明[42]。除了加强可积性以限制模糊性的理论兴趣之外,光测立体的差分方法具有易于与其他3D重建方法结合的优点[17,40],并且绕过了积分估计法向场的问题,这本身是一个非平凡的问题[41]。此外,估计法向场中的任何误差都可能在积分期间传播,因此在法向估计期间必须加强对镜面反射或阴影的鲁棒性,请再次参见[48]以了解一些讨论。前面提到的所有研究工作都假设照明是由单个光源引起的。然而,许多研究更倾向于考虑更一般的照明条件,这在户外条件下有着自然的应用[43]。例如,太阳在一天内的视在运动引起照明方向的变化,这在理论上允许基于照相立体的3D重建。然而,该表观运动接近于平面,并且因此照明矢量的集合的秩等于或接近于2[45](关于单日光度立体的稳定性的附加讨论也参见[23])。因此,这种情况类似于双图像的情况,自90年代初以来已知双图像的情况是不适定的[28,37,51],尽管它仍然是一个活跃的研究领域[29]。为了限制由于这个问题而导致的不稳定性,一种可能性是考虑像[2,3]中那样在许多季节中获取的图像,或者诉诸于深度神经网络[22]。另一个是考虑非定向照明模型来表示自然照明,例如[26]中建模自然光照是一个有前途的轨道,因为这样的模型将不限于晴天,并且已知在阴天下获取的图像会产生更准确的3D重建[23]。然而,在自然照明下的光度立体的先前方法一般和未校准照明的情况更具挑战性,并且除了限于稀疏3D重建[46]或依赖于粗略几何形状的先验知识[4,27,40,47]的研究外,很少进行探索。最近在[34]中使用空间变化的等效方向照明模型重新研究了自然照明下的未校准照片测量立体。然而,结果仅限于恢复可能不可积的表面法线。相反,我们在本文中提出的方法直接恢复表示为深度图的底层表面在Basri和Jacobs [7]的开创性工作之后,它考虑了一般照明的球谐表示,而不是等效方向近似,如下一节所讨论的。8541i=1CCC∫n,mCCCn我Cn,mCCC123我们宁愿考虑球谐近似(SHA)一般照明[8,7]。通过定义半余弦123121323123.(C3. 图像形成模型在光度立体(PS)中,我们给出了多个ob-(1)模型(7)(一阶)型号(7)(二阶)服务{Ii}M,每个Ii:ΩR2→RC表示多通道图像(即,C彡1)在被掩蔽的像素do上。主Ω。假设被拍到的物体是兰博-tian,表面的反射率由λd0ρ表示,并且一般的图像形成模型如下,对于所有i∈{1,., M},c ∈ {1,..., C},且p∈ Ω:Ii(p)=S2ρ c(p)<$i(ω)max{ω·n(p),0} dω.(一)这里S2是R3中的单位球面,i:S2→R+表示入射光的通道方向强度,ρ c(p)∈R+和n(p)∈S2分别是与像素p ∈ Ω共轭的表面点处的通道方向反照率和单位长度表面法线。(1)中的max运算对自阴影进行编码。总积分S2收集由所有亮度分量产生的基本亮度贡献入射照明方向ω。 在未校准的设置中PS,除了n之外,量{i},{ρ}是未知的。图2. RGB(C=3)环境照明的图示:RGB(C = 3)环境照明i=(i,i,i),在图像形成模型(1)下得到的图像(假设白色椭圆形和球形),以及球谐函数的近似二阶球谐函数的近似近似是近乎完美的。这里球谐函数{hn,m}构成L2(S2)的一个正交基,{kn}和{ki,c}是L2(S2)的幂函数.关于{hn,m}的k和ki的解系数。以来Ccc等效定向照明[24]近似于(1)通过Ii(p)=ρc(p)<$$>i(p)·n(p),展开式(5)中的大部分能量集中在低阶术语[8],我们通过截断获得二阶SHAC C直到前九项的级数(即,0≤n≤2):i(p):={ω∈S2:ω·n(p)≥0}i(ω)ωdω。(二)k(ω,n(p))SΣ(ki,cn,m)hn,m(n(p))。2其中,'i(p)表示可见光范围内的平均光照在p. 场c在空间上是可变的,但可以n=0m=−n(六)通过小的局部区域上的定向照明来近似补丁. 每一个人,都有自己的一面,方向未校准PS的模糊性[20]。最先进的分片方法[34]首先在每个分片上解决这个问题,然后连接分片以形成完整的正规场直到旋转,并最终估计最满足可积性约束的旋转。然而,错误可能会在序列期间传播,导致可能不可积的正常场。一阶SHA是指截断到第一个四项(即, 0≤n≤1)。 ”[8]这是一个比喻。远距离照明,至少75%的最终辐照度是由第一阶SHA捕获98%,并且由第二阶SHA捕获98%(参见图1)。图2为可视化)。将(6)和球谐函数[8]的细节插入(4),我们最终确定我们的图像形成模型为:Ii(p)<$ρc(p)li·h[n](p),(7)C c代替这种等效的定向照明模型,h[n] =n1,n,n,n,n n,n n,n n,n2−n2,3n2−1nn内核k为k(ω,η):= max{ω·η,0},(3)这里h[n]:Ω→R9表示二阶谐波图像,并且li∈R9表示谐波照明矢量,其条目已吸收{kn i,c}和常数fac。我们可以将(1)视为卷积的模拟的函数{hn,m}。 SHA(7)相对于Ii(p)=ρc(p)第2章k(ω,n(p))<$i(ω)dω.(四)等效的定向照明模型(2)在于照明矢量{li}的空间不变性,这产生了较少不适定的逆问题[7]。对应物是非-证明Funk-Hecke定理,我们得到以下结果:类似于傅里叶级数的谐波展开:2n∫8542Cnn,m线性依赖于法向分量,我们将在第5节中使用定制的数值解来处理∫k(ω,n(p))i(ω)dω=Σ(kn)h n,m(n(p)).在下一节中,我们建立在可积性[9]和透视投影[39]都很大程度上的关键观察基础上。S2n=0m=−n(五)减少未校准PS的模糊性以导出变量,这是一个简单的方法来反转SHA(7)。∞8543c=1˜c,jC˜CC−z(u,v)−uz(u,v)−v z(u,v)˜˜Σ˜ ˜00C cc4. 变量未校准PS在本节中,我们将提出一个联合变分模型的未校准PS。为此,让3D框架(Oxyz)附接到相机,其中O为光学中心,z轴为光学(13)中的第二项表示每个反照率图ρc上的Huber全变差(TV)正则化,其中Huber损失定义为.|2 /(2 γ)|2/(2γ)如果|S|≤γ,与光轴对准,使得对于相机前面的任何3D点(x,y,z),z >0进一步地,让2D帧|γ:=|γ:=(十五)|− γ/ 2,如果|S|> γ,|> γ,(O′uv)被附着到平行于xy平面并且包含被掩蔽的像素域的焦平面。在透视投影下,表面几何形状被建模为映射x:p =(u,v)∈ R3,由下式给出:x(u,v)=z(u,v)K−1[u,v,1]n,(9)其中z:n→R+深度图,fu0u0K:= 0fv v0(10)0 0 1校准相机的本征矩阵。在下面,为了方便起见,我们记为(u,v):=(u−u,v−v)。假设z是可微的,则在且γ = 0。1在实验中被固定事实证明,Huber TV在多个映射{ρc}上施加了期望的平滑度,并且进而整体上改进了联合估计最终,µ>0是一个权重参数,它平衡了数据拟合项和Huber TV项。它的值被经验地设置为2·10−6(见第6节的一些讨论)。在(13)中,几何形状根据深度z直接优化(而不是根据法线n间接优化)。这既确保了可积分性,又避免了将法线集成到深度中作为后处理步骤。5. 求解器和实现为了数值地解决变分问题(13),我们遵循“离散化然后优化”的方法。好了,点x(u,v)是朝向摄像机的单位向量,使得n(u,v)<$$>ux(u,v)×<$vx(u,v),这产生以下由深度对法线的参数化:n[z](u,v)=n[z](u,v),(11)|n[z](u,v)|这就产生了离散向量z,{ρ c}C∈ RN。 为了减轻符号负担,我们有时通过像素的索引j ∈ {1,. . . ,N},有时通过其位置p =(u,v)∈ Ω。使用前向差分模板对空间梯度进行离散化。我们将应用滞后块坐标下降法n[z](u,v):=fu <$uz(u,v)fv < $vz(u,v)u好吧(十二)(LBCD)方法来找到(23)中由于(高度)非凸性质在(23)中,优化变量的初始化具有强的影响最终解决方案。 在我们的实现中,我们注意,n[z]对z的依赖性是线性的。初始化ρc,j=median({IiMi=1)对于所有c,j和li=基于法线的正演模型(7)和参数化(11),我们将反射、光照和几何的联合恢复公式化为以下变分[0。2,0,0,−1,0,0,0,0,0,0],对于所有c,i。而且在在前八次迭代中,我们冻结了二阶球面谐波系数(11)5=(11)6=… =(1i)9= 0,即,问题:min{ρc},{li},zΣ∫φλ.ρc(u,v)li·h[n[z]](u,v)C我们仅使用一阶球谐函数ap进行重建作为一个温暖的开始大多数真实世界场景是凸的,我们将深度z初始化为气球状表面,如下面所讨论的。ci=1c=1ΣΣ∫c=1Ω5.1. 深度初始化很容易看出,深度z产生均匀的垂直对齐的法线n[z],在上面的第一项中,我们使用柯西φλ(s)=λ2log(1 +s2/λ2),(14)众所周知,柯西估计量是非凸的,对异常值是鲁棒的;例如[42]在PS的上下文中。缩放参数λ= 0。15在所有实验中使}MCR2被RN代替,N是内部的像素数v- Ii(u,v)du dv+µ|γd u d v.(13)|γdudv. (13)8544C用。因此,初始谐波图像h[n[z]]中的零条目。这将导致对光照矢量{pc}和照明矢量{li}的无意义的更新;参见。图3为图示。为了解决这个问题,我们专门对深度初始化其经历两个阶段:1. 在[38]之后,我们生成一个类似气球的深度图在正投影下。2. 然后,我们通过法向积分将正交深度zo转换为透视深度zp[41]。8545^^~j^uupM^vvpC^p^p^3fvn(u,v)1^2fv~j^OO1个以上|z(k)|2OΩo以及在x处的表面的相应表面法线n如n[z]=n[z]/θ。然后我们用公式表示如下条件:−1−uz(u,v)−v z(u,v)我2. (n→ n +z):计算n+zzo∫^ΣΣ^联系我们OCN阶段1通过寻找具有经受恒定体积V的最小表面积的深度图z0来进行:如[18]中所讨论的,透视表面积线性地取决于深度z。这使得直接透视变得minΩS.T.Ω√1+|斯奎兹岛|2du dv z odu dv =V。(十六)膨胀,因为深度被推向零,因此产生数值不稳定性。因此,我们选择了两步走的方法,绕过了这个问题。该模型的全局最小值可以通过简单的投影梯度迭代来有效地计算:z(k+1/2)=z(k)−τ。1z(k),(17).V − ∫(k+1)(k+1/2)z(k+1/2)dudvzo=zo+∫Ωdudv·1千克,(十八)图3.深度初始化的影响:左边的平凡常数初始化与我们的右边是初始化,其中1<$(u,v)<$1且τ = 0。8/谱范数体积常数V是一个超参数这是根据经验选择的,参见第6节进行讨论。接下来,我们将正交深度zo转换为透视深度。有效深度zp注意,z。符合正投影,在正投影下,3D点x由下式表示:x(u,v)= [u,v,z(u,v)], (19)响应得到的几何估计。从不同的初始化的进一步结果可以在补充材料中找到。5.2. 滞后块坐标下降即使有合理的初始化,问题(23)的数值解仍然具有挑战性。由于AP-球谐近似h[n[z]]与像素p=(u,v)共辄由n(u,v)=1λ是高度非线性和非凸的。为了解决这些问题,我们提出了一种滞后块坐标下降法(LBCD)方法,在实际应用中取得了较好的效果。|2+ 1 [z o(u,v),−1].|2 + 1 [∇zo(u, v), −1] .(二十)由于n对于投影模型是不变的,因此等式(11)也意味着,为了推导LBCD,我们引入一个辅助变量θ∈RN使得θj=|n[z]|. 这使我们能够重写(11)jjj约束优化问题:n^(u,v)fz(u,v)fz(u,v)中文( 简体)minΣΣΣφ。Rλ(θ,ρJ,li,z)ΣC~u^p~v^pθ,{ρc},{lc},zi=1c=1j=1^p p深入这进一步意味着公式为zz:(二十三)+µ|(ρc)j|γ、c=1j=1z(u,v)=un^1(u,v)fu−1v~n^2(u,v)+n(u,v)1fu1n(u,v)S.T.θj为|n[z]|,n∈{1,. . . ,N},(二十二)其可以被积分以获得z(因此z)。 的,li,z)=ρli·h[n[z]/θ]−Ii. ( 二十四)^p pri,c,j(θj,ρc,jCc,jcj~jjc,j第2阶段的总体管道概述如下:1.(z→n):通过(20)计算no^^^^p^p3. (zON+平凡zp≡1及其结果z我们的zp及其结果z柯西,(23)i,c,j其中z(u,v)= logz(u,v)代表对数视角c,j其中,ri,c,j是由下式定义的残差函数在初始化时,建议的LBCD如下进行:(22)。→z):执行积分[41]以获得z。∫、8546(k+1):= |n(k)(25)^^CJJ低点在迭代k处,我们落后θ一次迭代,即,θθ[z]|,j∈{1,.,N},p返回zp深入p= expzpp作为初始化的(透视图)然后顺序地更新三个块(即{pc}、{li}和z)中的每一个。在每个子问题中,8547c,jCi,c,jΣΣΣΣ我们解决(滞后)加权最小二乘问题作为柯西损失和/或胡贝尔损失的近似。这在下文中详细说明:• (更新{ρc}):我们评估残差r(k+1/3):=ri,c,j(θ(k+1),ρ(k),li,(k),z(k)),(26)6. 实验验证本节关注的是评价拟议的非凸变分方法,以未校准的pho- tometric立体一般照明下。i,c,jjc,jc6.1. 合成实验然后设置(滞后)权重因子,用于Cauchy损失和Huber损失w(k+1/ 3):=φ′(r(k+1/ 3))/r(k+1/3),(27)为了验证(16)中的初始体积V、可调超参数μ和(13)中的输入图像的数量M的影响,我们考虑36个具有挑战性的同步,i,c,jλi,c,ji,c,jq(k+1/3):=1/m ax {γ,|(k)|{\fn方正粗倩简体\fs12\b1\bord1\shad1\3cH2F2F2F}(二十八)thetic数据集我们使用四种不同的深度图(c,jcjful Yell”[ 1 ]、“Lucy”[ 30 ]、“Armadillo”[ 30 ]和“Thai将最小值{ρc}更新为以下线性加权最小二乘问题的解:Statue{ρ(k+1)}:= argminµc{ρc}Σc,jq(k+1/3)|(ρc)j|2M= 25个不同的环境地图2,参见图4.每个数据集的结果25个RGB图像用作输入,使用固有相机参数和二进制掩码Ω。+Σw(k+1/3)|ri,c,j(θ(k+1),ρc,li,(k),z(k))|二、对三重态(V,μ,M)进行定量评价i,c,ji,c,jjjc(二十九)在四个随机选择的数据集(Armadillo White反照率,Joyful Yell Ebsd反照率,Lucy Hippie反照率,该方法采用共轭梯度法(CG)。• (更新{li}):照明子问题类似于反照率子问题,除了没有Huber电视术语 根据残差r(k+2/3)和权重因子w(k+2/3),我们通过求解来更新{li}和泰国雕像Voronoi反照率),比较(V,µ,M)的每个值对地面实况和估计法线之间的所得平均角度误差(MAE)的影响。首先,我们使用初始固定值µ= 2·10−6和M= 25验证输入音量V的选择。作为i,c,jc体积取决于掩模的大小,我们考虑使用以下线性加权最小二乘问题,线性参数化V(κ)=κ| Ω|=κN和评估-lem via CG:{li,(k+1)}= argminLΣw(k+2/3)·选择一个比率范围κ∈1,103。 图5(左)表示κ的最佳值是依赖于数据集的。对于syn-Cici,c,ji,c,j(三十)我们总是选择这个最佳值,但对于|r(θ(k+1),ρ(k+1),li,z(k))|二、真实世界数据不可能进行此类评估,并且κ必须i,c,jjc,jc手动调谐。由于气球的深度为-• (更新z):深度子问题需要额外的努力。其中r(k+1)和w(k+1)在实现可以实时进行(在CUDA中实现并行化),用户可以立即获得反馈-i,c,j我i,c,j回到最初的深度,因此,一个合理的初始形状{lc}-更新,我们面临着以下加权最小二乘问题:minΣw(k+1)|ri,c,j(θ(k+1),ρ(k+1),li,(k+1),z)|二、很容易画。人类擅长估计物体的大小和形状[5],现实世界的实验将表明,手动选择κ可以产生吸引人的几何形状。zi,c,ji,c,jjc,jc(三十一)接下来,我们评估µ的影响,参见。图5(右)。可以看出,深度估计似乎恶化其中ri,c,j对z的依赖性仍然是非线性的。因此,我们进一步将ri,c,j关于z并得到以下更新:z(k+1)=argminΣw(k+1)·8548i,c,j对于太小和太大的μ值,而μ∈10−6,10−5似乎可以在所有反照率图中提供良好的深度估计。因此,我们在接下来的所有实验评估中将µ固定为2·10−6zi,c,ji,c,j(三十二)不出所料,MAE与输入图像的数量M成反比,但运行时间增加(线性)|二、|2,其中J r(z(k))是映射z的雅可比矩阵›→r(θ(k+1),ρ(k+1),l,(k+1),z)在z=z(k)处。的与M,cf.图6.我们发现M∈[15,25]代表了运行时间和准确性之间的良好权衡,并为我们所有的进一步实验固定M= 20我们的Matlab im-i,c,jjc,jc完成需要大约1由此产生的线性化最小二乘问题又是由CG解决。在我们的实验中,我们另外在z更新中进行了公司内回溯线搜索,以确保能量的单调下降。英特尔i7处理器。2环境地图可从http://www.hdrlabs。com/sibl/archive.html8549犰狳欢叫露西泰国雕像示例性环境地图(Thai雕像)酒吧恒定Ebsd嬉皮莉娜模式圆沃罗诺伊白色图4.我们使用四个3D形状和九个反照率图来创建36个(3D形状,反照率)数据集。对于每个数据集,M=25个图像使用不同的环境贴图(如右上角所示)进行渲染。图5. 初始体积V(形状)以及µ对估计深度精度的影响。基于这些实验,我们选择κ ( Armadillo )=2。84,κ ( 欢 乐的 叫 喊)=24。77,κ(Lucy)= 4. 九十八−6κ=3。05且µ=2·10对于所有实验,其中在该方法之前,输入第5.1节中描述的气球初始化作为深度。此外,我们在自然照明下与另一个未校准的光度立体作品[34]3进行比较,该作品采用等效的定向照明而不是球谐,参见。第3节。表1显示了所有36个数据集的中位和平均MAE(更详细的表格可参见补充材料)。在这些数据集上,可以看出,我们的方法在定量上优于当前最先进的2该增益也在图7中进行了质量评估,图7显示了两个结果的选择V(形状)= κ(形状)N(形状)。图6.图像数量M对平均角度误差(MAE)和运行时间的影响。基于这些见解,我们选择M=20进行实验。确定了(V,µ,M)的选择后,我们现在可以将我们的方法与其他最先进的方法进行比较。我们将我们的结果与通过假设定向照明的未校准的光度立体方法获得的结果进行比较[15],并且另一个假设一般(一阶球谐)照明但依赖于输入形状先验(例如,从RGB-D传感器)[40]。由于对基于传感器的深度先验的访问的这种限制性假设并不总是给出,并且为了使比较公平,我们方法[第十五条][第四十届][34个]我们中值27.1621.1434.069.17是说34.1521.1835.5310.72表1.所有36个数据集的平均角度误差(MAE)的中位数和平均值所提出的方法克服了26.2. 现实世界的实验对于真实世界的数据,我们使用[19]的公开它提供了八个具有挑战性的真实世界的对象数据集,具有复杂的几何形状和在日光和自由移动的LED下捕获的阴影,以及内在的masks和masks。结果示于图8中。尽管依 赖 于 定 向 照 明 模 型 , [15] 的 方 法 在 一 些 数 据 集(Face1,Ovenmitt或Shirt)上产生了合理的结果,但在其他数据集上失败了由于[40]假设在深度上存在可靠的先验以便执行光度量细化,因此该方法偏向于其初始化,并且因此仅当深度先验非常接近于3与[15]和[40]相关的代码可以在网上找到,[34]获得的结果由作者提供。反照率3D形状8550[15][40][34]第15话MAE: 21。3316. 33◦19. 70◦9。21◦MAE: 28。02◦ 18. 64分 37秒3109 . 16◦图7.最先进的方法和我们的方法36个合成数据集中的两个数字以度为单位显示平均角度误差(MAE)。对象的粗略形状(Ovenmitt,衬衫,写字板,花瓶)恢复有意义的[34]的方法仅估计可能不可积分的正常场,并且可以看出,在积分之后,深度图可能不令人满意。由于我们的方法直接优化了深度,因此这些问题并不明显,并且我们能够在所有测试中恢复7. 结论提出了一种在一般光照条件下的非标定的光度立体(PS)的变分方法假设透视相机设置,我们的方法联合估计形状,反射率和照明的鲁棒的方式。通过直接估计底层深度图来绕过法线的可能不可积性,并且通过求助于Cauchy的M-估计器和Huber-TV正则化来确保鲁棒性。虽然问题是非凸的,因此在数值上具有挑战性和初始化依赖性,但我们通过定制的滞后块坐标下降算法和基于气球的深度初始化有效地解决了这个问题。通过对合成和真实数据的一系列评估,我们证明了我们的方法在MAE方面优于现有方法2-3倍,并且即使在具有挑战性的真实世界环境中也能提供非常详细的在未来的研究中,更自动化的气球样深度初始化是可取的。探索球谐照明下差分透视未标定PS的理论基础(解的唯一性)和分析所提出的数值方案的收敛性质构成了另外两个有希望的前景。[15]第四十话第三十四话图8.最先进的方法和我们在具有挑战性的现实世界数据集上的方法的结果。虽然竞争的方法在某些数据集上失败,但我们的方法始终产生令人满意的结果。快乐的叫喊莉娜泰国雕像白色背包花瓶平板电脑盒衬衫奥文米特背包面2面18551引用[1] 欢乐的呐喊2015. https://www.thingiverse的网站。com/thing:897412. 6[2] 奥斯汀·艾布拉姆斯,克里斯托弗·霍利,罗伯特·普利斯 。 全 息 立 体 : 太 阳 位 置 的 形 状 。 在 EuropeanConference on Computer Vision(ECCV),Lecture Notesin Computer Science的第7573卷,第3572[3] Jens Ackermann,Fabian Langguth,Simon Fuhrmann,and Michael Goesele.户外网络摄像头的光度立体声。在IEEE计算机视觉和模式识别会议(CVPR)的会议记录中,第262-269页2[4] 延斯·阿克曼,马丁·里茨,安德烈·斯托克和迈克尔·戈泽尔。从基于实例的摄影立体中删除实例。计算机视觉的趋势和主题(ECCV研讨会),计算机科学讲义第6554卷,第197-210页。2012. 2[5] Joseph Baldwin , Alistair Burleigh, Robert Pepperell,and Nicole Ruta.在周边视觉中感知到的物体的大小和形状。i-Perception,7(4):2041669516661900,2016. 6[6] 阿德里安·巴托利、扬·杰拉德、弗朗索瓦·查德贝克、托比· 柯 林 斯 和 丹 尼 尔 · 皮 萨 罗 。 从 模 板 塑 形 。 IEEETransactionsonPatternAnalysisandMachineIntelligence,37(10):2099-2118,2015。2[7] Ronen Basri,David Jacobs,and Ira Kemelmacher.普通的 , 未 知 的 灯 光 。 International Journal of ComputerVision,72(3):239-257,2007。二、三[8] Ronen Basri和David W Jacobs。朗伯反射与线性子空间。IEEE Transactions on Pattern Analysis and MachineIntelligence,25(2):218-233,2003。3[9] Peter N Belhumeur , David J Kriegman , and Alan LYuille. 浅 浮 雕 的 模 糊 性 。 International Journal ofComputer Vision,35(1):33-44,1999。二、三[10] Michael Brady和Alan Yuille从轮廓求形状的一个极值原理。IEEE Transactions on Pattern Analysis and MachineIntelligence,6(3):288-301,1984。2[11] ManmohanChandraker , JiaminBai , andRaviRamamoorthi.关于未知各向同性BRDF的差分光度重建。IEEE Transactions on Pattern Analysis and MachineIntelligence,35(12):2941-2955,2013年12月。2[12] 托比·柯林斯和阿德里安·巴托利。用近距离光度立体法在视差中进行三维重建。在Medical Image Computingand Computer-Assisted Intervention(MICCAI),LectureNotes in Computer Science 的 第 7511 卷 , 第 634-642 页中。2012. 2[13] Jean-Denis Durou Maurizio Falcone和Manuela Sagona。阴影恢复形状的数值方法:一个新的调查与基准。计算机视觉与图像理解,109(1):22-43,2008. 2[14] Abdul Rehman Farooq、Melvyn Lionel Smith 、LyndonNeal Smith和Sagar Midha。用于瓷砖质量在线控制的动态光度立体工业计算机,56(8-9):918-934,2005。2[15] 保罗·法瓦罗和托马·帕帕希米特里。一个封闭形式的解决方案,以未校准的光度立体通过扩散最大值。在IEEE计算机视觉和模式识别会议(CVPR)的会议记录中,第821七、八[16] 杰森·耿结构光3D表面成像:一个教程。Advances in Optics and Photonics,3(2):128-160,2011.2[17] Paulo FU Gotardo,Tomas Simon,Yaser Sheikh,andIain Matthews.用于高细节动态3d重建的光度测量场景流。在2015年IEEE国际计算机视觉会议(ICCV)论文集,第846-854页中。2[18] Gottfried Graber,Jonathan Balzer,Stefano Soatto,andThomas Pock.变分立体中透视深度图的高效最小曲面正则化。在IEEE计算机视觉和模式识别会议(CVPR)的论文集,第511-520页,2015年。5[19] Bjoe rnHaefner,SongyouPeng,AlokVerma,Y vainQue'au,and Daniel Cremers.光度深度超分辨率。Arxiv预印本1809.10097,2018。7[20] 早川秀树光源任意运动下的光度立体。Journal of theOptical Society of America A,11(11):3079-3089,1994. 二、三[21] 车在她身边。圆周运动下未标定图像的三维物体建模中 的 轮 廓 与 轮 廓 融 合 。Th e`sededoctorat ,E'coleNationaleSu pe' rifettodes Te'l e' communications,2004.2[22] Yannick Hold-Geoffroy , Paulo FU Gotardo , and Jean-Fran c. 深光度立体对太阳纽约。Arxiv预印本1803.10850,2018。2[23] YannickHold-Geoffroy , JinsongZhang , PauloFUGotardo,andJean-Fran c oisLa l onde. 什么是户外光度立体的好日子2015年国际计算机摄影。2[24] YannickHold-Geoffroy , JinsongZhang , PauloFUGotardo,andJean-Fran c.x小时室外光度立体声。在2015年的3D视觉国际会议上。3[25] Berthold KP Horn 从着色中生成形状:一种从一个视图获取光滑不透明物体形状的方法。麻省理工学院电子工程与计算机科学系博士论文,1970年。2[26] Jiyoung Jung,Joon-Young Lee,and In So Kweon.使用天窗估计的一天室外光度立体。国际计算机视觉杂志,2019。(to出现)。2[27] Ira Kemelmacher-Shlizerman和Ronen Basri。使用单个参考 面 部 形 状 从 单 个 图 像 进 行 3D 面 部 重 建 。 IEEETransactionsonPatternAnalysisandMachineIntelligence,33(2):394-405,2010. 2[28] 雷沙德·科泽拉从两种阴影图恢复物体形状的研究International Journal of Pattern Recognition and ArtificialIntelligence,6(4):673-698,1993. 2[29] Ryszard Kozera和Alexander Prokopenya。二阶代数曲面与双像光度立体。在国际计算机视觉和图形会议上,第234-247页,2018年。2[30] Marc Levoy、J Gerth、B Curless和K Pull。斯坦福大学三 维 扫 描 仓 库 。 2005. http : //www-graphics.stanford.edu/data/3dscanrep的网站。6[31] Fotios Logothetis,Roberto Mecca,and Roberto Cipolla.半校准近场光度立体。进行中-8552IEEE计算机视觉和模式识别会议,第941-950页,2017年。2[32] Roberto Mecca , Ariel Tankus , Aaron
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 5
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
- 李兴华Java基础教程:从入门到精通
- U盘与硬盘启动安装教程:从菜鸟到专家
- C++面试宝典:动态内存管理与继承解析
- C++ STL源码深度解析:专家级剖析与关键技术
- C/C++调用DOS命令实战指南
- 神经网络补偿的多传感器航迹融合技术
- GIS中的大地坐标系与椭球体解析
- 海思Hi3515 H.264编解码处理器用户手册
- Oracle基础练习题与解答
- 谷歌地球3D建筑筛选新流程详解
- CFO与CIO携手:数据管理与企业增值的战略
- Eclipse IDE基础教程:从入门到精通
- Shell脚本专家宝典:全面学习与资源指南
- Tomcat安装指南:附带JDK配置步骤
- NA3003A电子水准仪数据格式解析与转换研究
- 自动化专业英语词汇精华:必备术语集锦
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功