不准确光照下的鲁棒变分方法解决光度立体问题

Daniel CREMERS∗cremers@tum.de1 990在不准确光照下的非凸变分方法解决光度立体问题0Yvain Q U ´ EAU，Tao W U慕尼黑工业大学，德国0{ yvain.queau, tao.wu } @tum.de0Franc¸ois LAUZE哥本哈根大学，丹麦0francois@di.ku.dk0Jean-Denis DUROU图卢兹大学，法国0durou@irit.fr0慕尼黑工业大学，德国0摘要本文解决了在存在不准确光照的情况下的光度立体问题，该问题可以通过校准或非校准的光度立体方法获得不准确的光照。基于对噪声和异常值的精确建模，引入了一种鲁棒的变分方法。它明确考虑了自阴影，并通过使用重定向M估计器来强制处理投影阴影和镜面反射，从而实现了鲁棒性。通过一种计算效率高的交替加权最小二乘算法来求解得到的非凸模型。由于它隐含地强制执行可积性，新的变分方法可以改进光照的强度和方向。01. 引言0光度立体（PS）是从静止相机下不同光照条件下拍摄的一组m张图像中推断出表面的形状和可能的反射率的问题。在假设兰伯特反射的情况下，当 m = 3[35]时，可以在每个表面点上明确确定表面法线和反射率，但是考虑到 m > 3的图像可以在噪声、阴影和镜面反射的情况下进行鲁棒估计（见图1）。然而，光照校准的准确性仍然是鲁棒方法的瓶颈：实际的光照强度和方向永远不会完全等于校准的光照强度和方向。因此，一个能够自动改进一些初始光照估计的鲁棒PS方法将是有价值的。然而，现有的鲁棒方法没有提出这个特性，现有的非校准方法缺乏鲁棒性。本文通过引入一个鲁棒的变分框架，给出了一个联合改进形状、反射率和光照的方法，给定一个可以通过校准或非校准PS获得的初始光照估计。0� Yvain Q U ´ EAU，Tao W U和Daniel C REMERS受ERC ConsolidatorGrant“3D Reloaded”的支持。0球 熊 猫 锅1 阅读0图1.上：五个真实世界的PS数据集[31]，包含自阴影（全部），投影阴影（除Ball外的全部），镜面尖峰（Ball和Reading），或更宽的镜面叶片（Bear）。下：所提方法估计的3D模型，以[31]中的校准光照作为初始光照。使用非校准PS作为初始化也可以获得类似的结果，见图7。01.1. 相关工作0鲁棒的逐点光度立体方法估计每个像素的法线和反射率。在假设兰伯特反射并忽略自阴影的情况下，可以在每个像素中将PS表示为法线和反射率的超定线性方程组[35]。基线方法以最小二乘的方式解决这个系统，这是快速的，但仅在存在高斯噪声的情况下才合理。然而，镜面反射很难被视为高斯噪声。如果它们由宽叶片组成，可以通过非兰伯特反射模型[9, 16, 20,30]来明确处理。本文则考虑了镜面尖峰，因此将镜面反射视为兰伯特反射的异常值。MAE = 4.39◦MAE = 3.78◦MAE = 2.94◦MAE = 3.77◦MAE = 3.05◦MAE = 3.30◦MAE = 2.41◦MAE = 1.30◦MAE = 4.15◦MAE = 3.29◦MAE = 2.49◦MAE = 3.55◦MAE = 2.88◦MAE = 0.95◦MAE = 5.04◦MAE = 2.66◦MAE = 1.40◦1000m=100m=960不适用0基线低秩预处理[36] 稀疏贝叶斯学习[17] 基于L1的差分比率[20] 提出的 图2.三种最近的鲁棒（校准）PS方法的结果，左侧为不使用阈值策略（排除最低10%灰度值以下的像素），右侧为使用阈值策略，对于Ball数据集，m = 10或m = 96（比率无法处理此情况）张图像。在每个实验中，顶部行显示了3D重建结果，与地面真实法线的角度误差（红色为 >10°，蓝色为0°，MAE为平均值），底部行显示了估计的反射率（比率无法提供）。现有方法需要通过阈值筛除自阴影（所提方法明确处理自阴影），在存在镜面反射时效果不佳（所提方法对此现象更具鲁棒性），并且需要许多[17,36]或少量[20]图像（所提方法两种情况都可以处理）。0模型[17,36]。投影阴影构成了另一种异常值，现有方法也将自阴影视为异常值，尽管它们可以在局部进行建模（方程（1））。0如果可以检测到异常值，则基线方法只能应用于“内点”[3,33]。然而，确定“内点”并不是直接的[7, 34,37]。最近的方法将基线方法应用于修改后的灰度级，以适应秩3逼近[36]，或使用鲁棒估计器[17]。然而，如图2所示，这些方法必须与特定的阴影阈值策略[30,31]相结合，并且对于镜面反射不太鲁棒。0由点方法估计的法线最终需要集成到深度图中[10]。差分PS方法通过直接估计深度图来解决这个问题。假设兰伯特反射，忽略自阴影并假设m = 2张图像，这将产生m =2个非线性偏微分方程组，可以通过图像比率[21]线性化。最近已经展示了如何通过变分方法处理m≥3个RGB图像[28]，以及如何通过使用L1范数确保鲁棒性。0基于范数的方法[20]。然而，简单实现比率过程无法提供反照率，并且只能处理少量图像，因为会得到组合数量的方程。尽管可以通过采用复杂的算法过程来克服这些限制[32]，但更自然的方法是考虑非线性化的PDE系统。然而，目前不存在一种能够以鲁棒和实用的方式解决它的方法：现有方法要么仅限于最小二乘[13]，要么需要知道域边界上的深度值[27]。0UPS [25] 低秩 [36] + UPS [25] 提出的图3.在Ball数据集上的非标定PS方法，其中m =96张图像。通过使用低秩逼近[36]来提高鲁棒性，但通过所提出的方法对非标定PS进行后处理可以得到更准确的结果。0到目前为止，所有方法都假设了校准照明：非标定PS（UPS）方法则不然。它们利用矩阵分解来估计形状、反照率和照明，直到线性模糊度[12]被强制为止。在透视投影下，这将得到唯一解[24]。在正交投影下，仍然存在一个剩余的（GBR）模糊度[6]，最终需要消除[1,25]。UPS框架还可以扩展到非定向照明[4,26]、形状的类特定恢复[39]和非兰伯特反射[19,22]。然而，由于UPS方法依赖于一系列操作，可能会发生误差传播。通过低秩逼近[36]对图像进行预处理可以提高鲁棒性，但只能在一定程度上（图3）。.(7).(8)εiCS(p) = ρ(p) max�0, si·n(p)� �bi(p) − 1�,(10)εiS(p) = γ cos4α(p)ρis(p)max�0, si·n(p)�bi(p)π. (11)10101.2. 贡献0本文引入了以下创新：01.在第2节中介绍了一个准确的光度立体模型，精确地定义了“反照率”、“噪声”和“异常值”。02.在一个基于重定向M-估计的变分框架中，深度、反照率和照明被联合估计，其中模型明确处理了自阴影，但将投影阴影和镜面反射视为异常值，参见第3节；03.在第4节中提出了一种高效的交替加权最小二乘算法，以解决产生的非凸变分问题。0这些创新共同构成了第一个能够改进照明方向和强度的鲁棒光度立体方法。02. PS中的“噪声”和“异常值”是什么？0本节将证明，如果表面反射由兰伯特分量主导，并且考虑到m个灰度级图像Ii，i∈[1,m]，这些图像是在由向量si∈R3，i∈[1,m]所描述的不同方向照明下获得的，则必须考虑以下非线性图像形成模型：0I i (p) = ρ(p) max � 0 , s i ∙ n(p) � + ε i (p) , � i ∈ [1, m] , (1)0其中：ρ(p) > 0是反射率，n(p) ∈ R 3是与像素p ∈ R2共轭的点x ∈ R3的表面法线；max运算符通常被忽略以线性化模型；随机变量ε i(p)代表噪声和异常值的和。此外，这些随机变量是由四个组成部分的和，分别表示噪声和量化、镜头像差、投射阴影和镜面反射：0ε i (p) = ε i N(p) + ε i A(p) + ε i CS(p) + ε i S(p) (2)0通过准确描述最终导致图像在传感器上形成的光度学现象来证明这一结果。如果传感器未饱和，像素p中的灰度级别I i(p)与传感器辐照度e i(p)成正比，比例系数为γ（这是相机的固有特性），并且存在噪声和量化，由随机变量ε i N(p)表示：0I i (p) = γe i (p) + ε i N(p) . (3)0如果相机对焦在与像素p共轭的表面点x ∈ R 3上，e i(p)几乎与观察方向中x处表面的亮度L i (x)成正比0由角度α(p)与光轴的关系来表征：0e i (p) = β cos 4 α(p) L i (x) + ε i A(p)γ , (4)0其中β取决于孔径、曝光等，cos 4α(p)因子使图像边界变暗，而随机变量ε iA(p)γ代表镜头像差（例如，暗角）。如果表面被平行且均匀的光束s i ∈ R3（该向量指向光源，其范数等于光通量密度），L i(x)与表面辐照度E i(x)成正比，比例系数是双向反射分布函数（BRDF）：0L i (x) = BRDF i (x) E i (x) , (5)0知道：0E i (x) = b i (x) max � 0 , s i ∙ n (x) � , (6)0其中n(x)是x处的表面法线，max运算符编码自阴影，并且二进制随机变量b i(x)在存在投射阴影时值为0，否则为1。如果表面的亮度L i(x)与观察方向无关，则称其为Lambertian。在这种情况下：BRDF i (x) = ρ(x)0π , � i ∈ [1, m]，其中ρ(x) ∈ [0,1]是x处的反射率。在这项工作中，假设了更一般的二色性BRDF模型，考虑了附加的镜面分量ρ i s (x)：0BRDF i (x) = ρ(x) + ρ i s (x)0基于物理的模型可以用于ρ i s ( x)[9]，或者为了计算可行性而设计的经验模型[16, 20,30]，但是所提出的方法更多地遵循[17,36]，将镜面反射视为异常值。以下符号n(p)，b i (p)和ρ i s(p)滥用地用于n(x)，b i (x)和ρ i s(x)。下面的变量也滥用地称为“反射率”：0ρ(p) = γ cos 4 α(p) ρ(x)0根据[8]的假设，相机的辐射设置（例如孔径和曝光）可能在拍摄之间变化。在这种情况下，（4）中的比例系数β必须用β i ，i ∈ [1, m]表示，并且可以与照明向量的强度相结合：0s i = β i s i . (9)0将方程（3）到（9）组合起来得到了众所周知的模型（1），其中随机变量ε i (p)的定义为（2），其中：minρ:Ω→Rz:Ω→R{si∈R3}i∈[1,m]��p∈Ωm�i=1Φ� ρ(p)dz(p)Ψ�si·�J(p)⊤�∇z(p)−1���−Ii(p)�dp,Ψ(x) = max {0, x} .(13)x(u, v) = z(u, v)K−1 [u, v, 1]⊤ ,(14)K =fusu00fvv0001,(15)n: Ω → S2 ⊂ R3(u, v)�→n(u, v)=1d˜z(u, v)J(u, v)⊤�∇˜z(u, v)−1�, (16)J(u, v) =fu−s−(u − u0)0fv−(v − v0)001 ,(17)d˜z(u, v) =�J(u, v)⊤ ∇˜z(u, v)⊤, −1⊤�.(18)Ii(u, v)=2 ,ΦW(x) = λ21 − exp�−10203. 提出的变分模型0由于最大值运算符引入的非线性以及在(2)中的第三个（投影阴影）和第四个（高光）分量是脉冲现象（异常值），解决非线性方程组（1）是困难的。由于相机的辐射设置可能在拍摄之间变化，因此需要估计照明向量的强度  s i [ 8]。所提出的方法进一步细化了它们的方向，以解决标定的不准确性或非鲁棒的非标定PS方法的问题，使问题更具挑战性，因为UPS本质上是模糊的。为了消除产生的歧义，考虑了微分PS公式。这保证了可积性，足以消除透视投影下的UPS歧义[ 24]。本节展示了形状、反射率和照明的联合估计可以重新表述为以下变分问题:0(12) 其中  z  是深度图（假设可微分）， Ω  � R 2是重建域， J  是依赖于相机内参的矩阵场（参见方程（ 17））， d z ( p )  是非线性归一化项（参见方程（ 18 ）），Φ  是随机变量分布的最大似然估计器  ε i ( p )  定义在（ 2）中，以及:0为了实现这个变分公式，将一个三维坐标系（ Oxyz）附加到相机上，其中  O  是光学中心， z轴指向三维场景，（ xy ）平面平行于图像平面（ uv），其感兴趣区域（重建域）用  Ω  �  R 2表示。假设透视投影，那么表面可以表示为将每个像素  p= ( u, v )  ∈  Ω  关联到一个点  x ( u, v )  ∈  R 3 的映射:0其中  z  是深度，  K  是（校准的）内参矩阵:0其中（ f u , f v ）是焦距按照纵横比例缩放， s是倾斜度，（ u 0 , v 0 ）是相机的主点。  x ( u, v )处的表面法线是与  ∂ u x ( u, v )  ×  ∂ v x ( u, v )平行且指向相机的单位向量:0其中使用了变量变换  ˜ z  = log  z  (由于构造， z >  0)，并且:0变量变换  ˜ z  = log  z  统一了正交投影和透视投影[ 10 ]:设置  J ( u, v ) =  K  = K − 1 =  I 3  和  ˜ z  =  z可以得到正交模型。因此，下面忽略了波浪符号。使用（ 1）和（ 16 ），新的微分PS模型在（ ρ, z,  { s i } i ∈ [1 ,m ]) 中出现为以下PDE系统:0dz（u，v）max[0，si∙[J（u，v）��z（u）−10[3]0+εi（u，v），�（u，v）∈Ω，�i∈[1，m]。（19）0变分问题（12）最终通过以近似方式解决PDE系统（19）而产生，引入了一个选择为随机变量εi（u，v）的分布的最大似然估计器Φ的鲁棒估计器。假设它们的高斯性是不合理的。更适合的是分配异常值（2中的第三和第四分量）的重尾分布，分配非可忽略概率的。重下降M-估计器是这种分布的一类高效最大似然估计器，满足Φ'（x）−→|x|→∞0。例如，包括Geman-0McClure的[11]，Welsh的[14]和Tukey的[5]函数，以及最小幂和Cauchy的估计器，分别定义如下：0ΦGM（x）=x20λ2，0ΦT（x）=0� 0� 0λ201−[1−x2]0λ20[3]0，|x|≤λ，0λ2，|x|>λ，0ΦLp（x）=|x|p，ΦC（x）=λ2log[1+x2]0λ20，0（20）其中p应该设置为]0，1[中的一个值，以确保ΦLp是下降的（在实验中将p设置为0.7），λ>0是一个可调节的尺度参数。根据[15]，λ设置如下：0λ=δmediani,p[2]−mediani,p[Ii(p)][2]，（21）0其中δ设置为0.4用于ΦGM和ΦW，0.9用于ΦT，0.15用于ΦC（这些值在所有实验中都被发现是有效的）。min˜ρ∈Rnz∈Rn{si∈R3}i∈[1,m](Az)ij = ˜si1,jdu,jz + ˜si2,jdv,jz,(25)˜si(u, v) = J(u, v)si.(26)∇˜ρF(˜ρ, z(k), {si,(k)}i) = 0,(27)∇zF(˜ρ(k+1), z, {si,(k)}i) = 0,(28)∇siF(˜ρ(k+1), z(k+1), {si}i) = 0, ∀i ∈ [1, m],(29)�w(˜ρ, z, {si}i)ij =Φ′ ��r(˜ρ, z, {si}i)�ij�(r(˜ρ, z, {si}i))ij,(30)m�i=1�w(k)�ij�˜ρj�Ψ(k)�ij−Iij��Ψ(k)�ij=0, ∀j ∈ [1,n],(32)n�j=1m�i=1�¯w(k)�ij�˜ρ(k+1)j�¯χ(k)�ij��A(k)z�ij−˜si,(k)3,j�−Iij�˜ρ(k+1)jAi,(k)j,l�¯χ(k)�ij =0, ∀l ∈ [1, n],(33)� n�j=1�˜w(k)�ij�˜χ(k)�ij2�˜ρ(k+1)j�2�n(k+1)�j�n(k+1)�⊤j�si=n�j=1�˜w(k)�ij�˜χ(k)�ij ˜ρ(k+1)jIij�n(k+1)�j , ∀i ∈ [1, m]. (34)10304.数值解0（12）中的变分问题表示了一个高度非凸的非线性优化问题。非凸性不仅来自分母dz，还来自非凸M-估计Φ和ρ，z和{si}i的耦合，而非线性则是由于分母dz和Φ和Ψ函数的组合。现有的微分PS方法主要集中在由分母dz引起的困难上。它们通过图像比率[20，21，28]（这些方法不估计反照率并且只能处理少量图像）或通过变分微积分[27]（这种方法需要使用迪里希特边界条件，因此几乎无法应用于现实场景）或近端方法[13]（这种方法没有前面的限制，但需要非常昂贵的计算）来消除它。在这项工作中，非线性分母dz既不被消除，也不被明确处理：非线性仅通过估计“缩放反照率”˜ρ（u，v）而不是实际反照率ρ（u，v）（可以从（22）中推导出来）来规避：0˜ρ（u，v）=）0dz（u，v）。 （22）0（12）的建议数值解采用“离散化然后优化”的方法，即将Ω�R2→R函数˜ρ和z替换为Rn向量˜ρ和z（其中n是Ω内像素的数量），并将梯度算子替换为前向差分，然后解决以下离散优化问题：0F（˜ρ，z，{si}i）=0n0j=10i=1Φr（˜ρ，z，si）ij0[3]0在这里，残差r（˜ρ，z，si）ij的定义如下，对于i∈[1，m]，对于j∈[1，n]：0� r ( ˜ ρ ,  z ,  { s i } i ) � i j = ˜ ρ j Ψ � ( A z ) i j −  ˜ s i3 ,j � −  I i j , (24)0其中 I i j 是图像 i  ∈  [1 , m ] 中像素 j  ∈  [1 , n ]的观测灰度级，A ∈ L ( R n ;  R m × n )是线性算子，满足以下条件：0其中 d u,j 和 d v,j 是用于近似算子 ∂ u 和 ∂ v的有限差分模板的第 j 行，[˜ s i 1 ,j ,  ˜ s i 2 ,j ,  ˜ s i 3 ,j ] �是在像素 j 处定义的矢量场 ˜ s i :0下面，介绍了一种专门用于计算问题（23）的静止点（通常是局部极小值点）的定制交替重新加权最小二乘（ARLS）方法。顾名思义，ARLS通过使用交替优化策略来处理变量之间的耦合，即通过交替优化 ˜ ρ ,  z 和  { s i } i 来最小化 F。给定迭代 k 时的 ( ˜ ρ ( k ) ,  z ( k ) ,  { s i, ( k ) } i )，这相当于求解一阶最优性条件。0在迭代重新加权最小二乘（IRLS）方法中，更多地使用了重新加权。具体而言，重新加权用于以下量，� i  ∈  [1 , m ] ,  �j  ∈  [1 , n ] :0� χ ( z ,  s i ) � i j = � 0 如果 ( A z ) i j −  ˜ s i 3 ,j ≤0 ，1 如果 ( A z ) i j −  ˜ s i 3 ,j >  0 ，(31)0这将（27）-（29）转化为完全线性化的系统，如下所示：0这里的 � n ( k0j ∈  R 3 是线性部分（即非法线部分）。0由正常向量在像素 j 处根据（16）从 z ( k +1)计算得到（由 d z 分母归一化）。权重 � w ( k ) � i j = � w ( ˜ρ ( k ) ,  z ( k ) ,  { s i, ( k ) } i ) � i j通过（30）使用反射率、深度和光照的值获得，� ¯ w ( k ) � ij 是使用新的反射率进行更新的。0值和� ˜ w ( k ) � i j 使用新的反射率和深度值。对于 χ 和 Ψ也采用类似的约定。值得强调的是，上述每个线性系统的解可以解释为重新加权最小二乘问题的解。例如，由（33）得到的解 z ( k +1) 解决了重新加权最小二乘问题。minz∈Rnminz∈Rn450500550600650F (k)8.599.51010 -40 -20510CPU (s)55606570758085FNon-linearized [14]Linearization (Equation (22))02468101214101112131415CPU (s)F Lsqnonlin (Equation (36))Linearization (Equation (35))1040最小二乘问题0n0i = 10m0j = 10¯w(k)_i0j0�ρ(k+1)_j�χ(k)_i0j0A(k)z_i0j - �si,(k)3,j0� - Iij0(35)0从而近似解决了非线性最小二乘问题：0n0j = 10m0i = 10¯w(k)_i0j0(r(˜ρ(k+1), z, {si,(k)i}))ij2, (36)0当只有w项重新加权时出现的情况。线性系统(32)和(34)有闭合形式的解。在我们的数值实验中，通过预条件共轭梯度法[18]求解了稀疏（矩阵A中的大多数项为零：(33)中对j的求和实际上限于像素l的邻居）线性系统(33)，该系统由最小二乘问题(35)引起。05.实验验证0ARLS迭代近似解决了最优性条件(27)，(28)和(29)，直到收敛。收敛分析可以像[29]中那样进行。在本节中，我们更倾向于验证算法的实际性能。为了选择停止准则，我们考虑图4中的Pot1数据集，其中m =48张图像，并使用估计器ΦC。根据这个实验，我们选择一个停止准则，即两个连续迭代中能量F(˜ρ, z,{si}i∈[1,m])值之间的相对差异的阈值：这个阈值在此设定为10^-4（图4中的蓝线）。然而，鉴于问题的非凸性，选择适当的初始化很重要。如果有校准的光照可用，基准方法是形状和反照率初始化的好选择。否则，推荐使用[25]中的UPS方法[31]，它还提供了初始光照估计。在这两种情况下，权重使用它们的定义(30)进行初始化。然后，在图5中评估了所提出的线性化策略（为了与[13]进行公平比较，没有进行光照细化）。将包含非线性分母（方程（22））的“缩放”反照率的估计与最近的一种方法进行比较，该方法在明确处理非线性的同时估计“实际”反照率[13]。如图5中的第一个图所示，该图考虑了Cat数据集，其中m =5张图像，假设与[13]中相同（Φ = ΦL2，正交投影，Ψ(x)=x），所提出的策略大大降低了每次迭代的成本。图5中的第二个图考虑了Ball数据集，其中m =5张图像，显示了重新加权以线性化自阴影算子的效率。每次重新加权迭代几乎与非线性化的对应迭代一样大幅降低能量，但计算速度要快得多。00 50 100 k0基准初始化UPS初始化00 50 100 k0MAE(°)0基准初始化UPS初始化00 50 100 k0|F(k)-F(k-1)|0F(k-1)0基准初始化UPS初始化0图4. 能量F(k)的演化，其中F(˜ρ(k), z(k),{si,(k)}i∈[1,m])是相对于地面真实法线的平均角度误差和两个连续能量值之间的相对差异，作为迭代次数k的函数。由于问题是非凸的，初始化的影响很大：选择（校准的）基准方法或未校准的PS方法（本实验中为[25]）会产生不同的能量值，而更低的最终能量并不一定意味着更准确的形状。0Φ = Φ L 2 ,  Ψ( x ) =  x Φ = Φ C ,  Ψ( x ) = max { 0 , x } 图5.评估提出的线性化策略（图表显示在前五次迭代后达到的能量值和完成这些迭代所需的时间）。左图：通过估计缩放的反照率（22）来消除非线性性（18），与最近的通过近端算法明确处理这种非线性性的方法进行比较。右图：评估自阴影算子的线性化，得到线性最小二乘问题（35）而不是非线性最小二乘问题（36），这需要使用基准非线性最小二乘求解器（如Matlab的“lsqnonlin”）。这些实验显示了提出的线性化策略的效率。0现在对完整方法（包括光照优化）进行评估，与最先进的鲁棒校准方法和非校准方法在图1中展示的五组图像上进行比较。为了公平比较逐点PS方法（提供法线但不提供深度）和微分方法（提供深度但不提供法线），逐点方法估计的法线被整合到深度图中（使用透视相机、最小二乘法和相同1050平均值（◦） 中位数（◦） CPU时间（s） 平均值（◦） 中位数（◦） CPU时间（s） 平均值（◦） 中位数（◦） CPU时间（s） 平均值（◦） 中位数（◦） CPU时间（s） 平均值（◦） 中位数（◦） CPU时间（s）0基准 4.15 2.55 0.03 8.58 6.44 0.04 9.57 7.33 0.03 9.62 7.08 0.03 21.05 15.77 0.030LR [ 36 ] 2.49 2.50 106.43 6.85 5.38 207.49 8.68 6.91 203.19 8.29 6.36 247.15 16.64 12.80 167.120比率 [ 20 ] 1 2.40 2.51 610.61 6.09 4.90 749.87 7.16 5.95 1099.89 7.95 5.98 1042.72 15.32 8.53 1912.940LR [ 36 ] + [ 13 ] 2.22 2.31 2693.30 6.60 5.25 2535.96 7.18 6.06 17252.50 7.99 6.08 12962.26 16.80 12.36 4387.120Φ W 1.18 0.99 64.74 6.34 4.83 104.51 6.73 5.07 373.07 8.06 5.66 240.76 13.92 7.59 284.800Φ T 1.72 1.59 18.98 6.21 4.77 62.01 7.03 5.38 62.40 8.19 5.96 82.87 14.71 8.78 30.130Φ L p 1.48 1.30 69.39 6.09 4.61 93.10 6.77 5.37 294.35 7.89 5.48 261.55 15.37 9.89 88.020Φ C 0.95 0.76 81.07 5.95 4.47 114.08 6.78 5.28 336.63 7.98 5.54 265.46 13.01 7.33 184.100表1. 在图1中展示的五个数据集上使用m =96张图像和[31]提供的校准作为初始光照估计，得到的定量结果（显示运行时间以及估计法线与真实法线之间的平均角度误差和中位数角度误差）。提出的方法（包括光照优化）在准确性方面优于最先进的鲁棒校准方法，并且通常更快。对应于Φ = Φ C的3D模型（3D重建和估计的反照率）在图1中展示。0相机估计 自阴影 光照优化 平均值（◦） 中位数（◦） CPU时间（s）0透视 Φ C Ψ( x ) = max { 0 , x } 是 13.51 7.47 28.710表2.3D重建误差和计算时间（使用校准后的光照作为初始估计，读取包含20张图像的数据集），对比了提出方法中引入的不同特征的组合。使用鲁棒估计对于准确性至关重要，但其他特征也有助于改善结果。0与建议的方法相比，法线是通过有限差分法从深度图中近似计算得到的。计算时间是使用Matlab代码和一台3.50GHz的Xeon处理器和32GB的RAM进行评估的。首先，使用[31]中提供的校准作为初始光照估计来考虑建议的方法，并与三种最新的鲁棒校准PS方法进行比较：低秩逼近[36]（LR），稀疏贝叶斯学习[17]（SBL）和基于L1的差分比率[20]。为了完整起见，还在表1中显示了最新的差分方法[13]的结果：由于该方法不具有鲁棒性，因此将其与LR方法耦合。图2显示，建议的方法是第一个在使用许多（m = 96）或少量（m =10）图像时都能提供准确结果的方法，并且不需要任何基于阈值的特殊异常值拒绝方法。由于逐点方法需要许多图像，因此在整个数据集上进行定量评估时，使用m =96张图像，参见表1（对于竞争方法使用了阈值）。现有的差分方法系统地优于逐点方法，但建议的方法更准确且速度更快。与[20]相比，建议的方法还提供了反照率（使用比率消除）并处理任意大量的图像（32GB的内存不足以应用于m>20的差分比率方法）。在方程（20）中定义的鲁棒M-估计器中，ΦC是达到最大断点[23]的估计器，因此应该是最鲁棒的。实验证实了这一点，尽管如果速度是一个问题，那么可以考虑Tukey的估计器ΦT。表2显示了本文引入的每个新特征的相应影响。将表2的第三行与表1进行比较，显示了重新下降的M-估计器优于现有鲁棒估计器，因为我们已经用五分之一的图像数量超越了现有技术。第四行证明了自阴影应该明确处理，而不是将其视为异常值，最后一行显示通过改进光照的强度和方向来考虑不准确的校准可以期望获得非常大的改进。另外，还在[2]的Gourd数据集上进行了一项实验，图6显示，即使只使用m =10张图像，也可以期望获得合理的结果。最后，表3评估了建议方法改进UPS结果的能力。使用m =96张图像比较了两种最新的UPS方法：最小熵（ME）方法[1]和漫反射极大值（DM）方法[25]。通过将建议的方法作为后处理应用于DM方法，显著优于将UPS与低秩预处理[36]耦合的最新鲁棒UPS策略（建议方法和该策略的运行时间可比）。使用未校准的PS作为初始估计结果比使用校准结果的准确性要低（比较表1和表3），但它们的结果在质量上是相似的（比较图1和图7）：建议的方法是可靠的未校准PS的重要一步。01 用于评估差分比率方法[20]的时候，我们只使用了m =20张图像，这是我们能够处理的最大图像数量，因为我们只有32GB的内存。0图6.在[2]的Gourd数据集上的结果（左图显示其中一张输入图像），增加图像数量并使用校准光照作为初始估计。使用m =3张图像时，重建的形状非常扭曲（无法强制鲁棒性），但是使用m = 10张图像可以获得合理的结果。Figure 6. Results on the Gourd dataset from [2] (the left image shows one of the input images), while increasing the number of imagesand using the calibrated lighting as initial estimate. The reconstructed shape is much distorted using m = 3 images (robustness cannot beenforced), yet reasonable results are obtained with as few as m = 10 images.1060m = 3 m = 10 m = 20 m = 1000图7. 由所提出的非校准PS方法估计的3D模型（使用Φ = Φ C和DM方法[25]作为初始化），与使用校准照明作为初始估计所获得的模型非常相似（参见图1）。0球 熊 猫 锅1 阅读0ME [1] 6.56 15.29 19.85 16.49 82.370DM [25] 5.04 9.20 10.62 10.27 24.490LR [36] + DM [25] 2.66 7.69 8.89 8.94 42.230所提出的方法 1.40 6.66 7.59 8.46 20.160表3. 两种（非鲁棒）非校准方法[1，25]，[25]应用于经过低秩逼近[36]预处理的图像，以及使用DM方法[25]估计的照明作为我们方法的初始猜测（Φ= Φ C）的非校准PS方法所达到的平均角度误差（以度为单位）。通过使用所提出的方法来改进照明，可以显著提高3D重建的准确性。该方法估计的3D模型如图7所示。06. 结论0引入了一种新的变分方法来进行鲁棒光度立体。它明确处理自阴影，并依赖于用于处理投影阴影和高光的重新下降的M-估计量。总的来说，这些创新消除了繁琐的手动阴影或高光识别的需要，并产生了一种完全自动的鲁棒PS方法。还表明，可以通过估计缩放的反照率并适当重新加权出现在最优性条件中的非线性因子来处理所得变分模型的非线性。最后，所提出的方法是第一个可以改进照明的强大PS方法。这是减少0通过差分方法隐式地实现了校准的重要性，通过微分方法来解决非校准（或不准确校准）的PS问题。迄今为止，尚未探索基于PDE的方法，因为基于PDE的方法在PS领域尚未成为标准。这可能是由于以前方法的计算复杂性。所提出的方法更加高效，可以为PS领域的研究开辟新的研究方向：不仅本文介绍的框架提供了迄今为止最准确的鲁棒PS方法，而且非常灵活。因此，它可以作为未来研究的基础，用于其他具有挑战性的PS问题，例如基于物理的高光反射模型的PS。实际上，我们将高光视为Lambertian模型的异常值，但是高光反射（和投影阴影）也为估计形状提供了线索：因此，最终应该在PS模型中考虑它们。1070参考文献0[1] N. G. Alldrin, S. P. Mallick, and D. J. Kriegman.通过熵最小化解决广义浮雕模糊性。《IEEE计算机视觉与模式识别会议论文集（CVPR）》，美国明尼阿波利斯，2007年。2，7，80[2] N. G. Alldrin, T. Zickler, and D. J. Kriegman.具有非参数和空间变化反射率的光度立体。《IEEE计算机视觉与模式识别会议论文集（CVPR）》，美国安克雷奇，2008年。7，80[3] S. Barsky and M. Petrou.在高光和阴影存在的情况下，用于三维表面的4源光度立体技术。《IEEE模式分析与机器智能交易》，25(10):1239–1252，2003年。20[4] R. Basri, D. W. Jacobs, and I. Kemelmacher.具有通用未知照明的光度立体。《计算机视觉国际期刊》，72(3):239–257，2007年。20[5] A. E. Beaton and J. W. Tukey.用于带光谱数据的幂级数拟合，即多项式拟合。《技术统计学》，16(2):147–185，1974年。40[6] P. N. Belhumeur, D. J. Kriegman, and A. L. Yuille. 浮雕歧义.《计算机视觉国际杂志》, 35(1):33–44, 1999.  20[7] M. Chandraker, S. Agarwal, and D. J. Kriegman.Shadow-Cuts: 带有阴影的光度立体.在《计算机视觉与模式识别IEEE会议论文集》中,美国明尼阿波利斯, 2007.  20[8] D. Cho, Y. Matsushita, Y.-W. Tai, and I.-S. Kweon.在非均匀光强和曝光下的光度立体.在《欧洲计算机视觉会议论文集》中,《计算机科学讲义》第9906卷, 页码：170–186. 荷兰阿姆斯特丹,2016.  3 ,  40[9] H. J. Chung and J. Jia.具有宽广镜面反射角的光泽表面上的高效光度立体.在《计算机视觉与模式识别IEEE会议论文集》中, 美国安克雷奇,2008.  1 ,  30[10] J.-D. Durou, J.-F. Aujol, and F. Courteille.在不连续性存在的情况下整合表面的法线场.在《能量最小化方法在计算机视觉与模式识别中的应用》中,《计算机科学讲义》第5681卷, 页码：261–273. 德国波恩, 2009.2 ,  40[11] S. Geman and D. E. McClure