通过离散假设和测试搜索的光度立体表面法线估计

……123110通过离散假设和测试搜索的光度立体0Kenji Enomoto 1 Michael Waechter 1 Kiriakos N. Kutulakos 2 Yasuyuki Matsushita 101 大阪大学 2 多伦多大学0摘要0本文考虑的问题是在已知的远程光照下，通过静态相机观察到具有空间变化的一般BRDF的场景的表面法线估计。与大多数基于连续局部优化的先前方法不同，我们将问题视为在离散化的表面法线空间上的离散假设和测试搜索问题。虽然朴素的搜索需要大量的时间，但我们展示了昂贵的计算块可以以与场景无关的方式预先计算，从而加速了新场景的推理。这使我们能够在表面法线的细粒度离散空间上进行全面搜索，以确定每个场景点的全局最优表面法线。我们展示了我们的方法可以在合理的时间内准确估计具有空间变化的不同反射场景的表面法线。01. 引言0光度立体从由静态相机在不同光照下拍摄的图像中恢复细节丰富的表面法线。传统的光度立体方法[25]假设兰伯特反射或简化的参数反射模型，但是这些方法与真实世界的反射性质的偏离会导致表面法线估计的误差。过去的研究使用了更复杂的反射模型[1, 15, 21, 13,4]以获得更准确的表面法线恢复；然而，它们通常会遇到非凸优化问题来确定表面法线。问题的根源在于这些方法将估计问题构建为连续优化问题。在本文中，我们将表面法线估计视为离散的假设和测试搜索问题。我们的方法将待估计的表面法线视为离散的量，通过假设和测试搜索来找到最佳的表面法线。由于表面法线向量只有两个自由度（一个单位的三维向量），由半球中的方位角和仰角表示，我们对表面法线的空间进行了细致的离散化。0BRDF和已知光源0假设0表面法线候选0目标场景 - 和 -0图1：我们方法的概述。我们假设一个表面法线并测试它是否能解释目标测量结果。通过对所有可能的表面法线进行假设和测试，我们的方法能够找到全局最优的表面法线。0导致相对较少的表面法线候选。例如，即使我们将角度离散化为一度间隔，也会得到32,400 =360×90个法线候选。我们的方法将每个表面法线候选作为假设，并测试其对图像形成模型的适用性；因此，我们将其称为假设和测试搜索策略。通过这种方式，我们的方法从所有（离散化的）可能的表面法线中搜索全局最优的表面法线。为了减轻离散搜索中的计算成本问题，我们开发了一种预计算方法，以在推理新场景之前以与场景无关的方式执行昂贵的计算。为了处理多样的反射性质，我们使用非参数的离散双向反射分布函数（BRDF）表，其轴是表面法线、光照方向和材料的空间，对于固定的视角。BRDF表，我们称之为BRDF张量，可以包含任意数量的材料，而且重要的是，在推理过程中，BRDF张量中考虑的参考材料数量不会影响计算时间。我们的方法受到基于示例的方法[9]和基于虚拟示例的方法[11]的成功启发。然而，与基于示例的方法不同，我们不需要23120在场景中放置一个参考物体。与使用非凸目标函数进行连续局部搜索的虚拟示例方法不同，我们将问题视为离散搜索问题，并在离散化空间上执行穷举搜索。这使我们能够在目标函数的边界内找到全局最优的表面法线。本文的主要贡献有两个方面。首先，我们提出了一种用于光度立体的离散假设和测试搜索策略。通过对表面法线的空间进行细粒度离散化，我们的方法通过穷举搜索找到全局最优的表面法线。其次，我们展示了在表面法线估计之前可以进行昂贵的计算，从而使全局假设和测试搜索在合理的时间内工作。我们使用合成和真实数据评估了所提出方法的准确性，并展示了它在确定场景的表面法线方面的有利性能。特别是，所提出的方法在多种材料的平均/方差角度误差上实现了稳定的估计。02. 相关工作0多样化材料的校准光度立体方法可以大致分为三类：基于模型的方法、基于学习的方法和基于示例的方法。下面我们讨论相应的相关工作。0基于模型的光度立体基于模型的方法使用参数化的BRDF表达式，并通过优化来估计模型参数，包括表面法线。这些基于模型的方法的关键是选择参数化的BRDF模型。Woodham的原始工作[25]假设Lambertian反射，这允许使用凸最小二乘优化来确定表面法线和反射率。非LambertianBRDF的参数化建模在图形学界得到了积极研究。例如，Blinn-Phong模型[23]、Torrance-Sparrow模型[7]、Ward模型[6]、镜面峰模型[5,26]和具有椭球形法线分布的微平面BRDF[4]已经被开发出来。然而，这些模型每个都局限于一类材料，并且这些模型高度非线性，导致非凸光度立体问题。因此，一些最近的方法使用双变量函数来代替。为了表示低频反射率，Shi等人[21]使用双多项式函数，Ikehata和Aizawa[13]使用未知中心方向的多个叶片的总和。虽然这些基于模型的方法可以在相对广泛的材料范围内使用，但总会存在问题材料。0基于学习的光度立体学最近，提出了基于深度学习的光度立体学方法。它们使用神经网络将已知光照下的测量强度映射到表面法线上[19, 3,13]。由于网络经过多种形状和材料的训练，这些方法在各种场景中显示出有希望的结果。Santo等人[19]和Chen等人[3]使用来自MERL数据集[16]的100个BRDFs对Blobby[14]和Sculpture[24]形状数据集进行了渲染，创建了一个训练数据集。Ikehata[12]还引入了一个用于校准光度立体的训练数据集，称为CyclesPS数据集，其中包含使用Disney的原则BSDF[2]渲染的几个具有多样化材料的对象。基于学习的方法需要大量的形状和BRDFs进行训练。当它们应用于与训练数据非常不同的形状和BRDFs的新场景时，需要对网络进行昂贵的重新训练。0基于示例的光度立体基于示例的光度立体依赖于方向一致性的概念[9]，即具有相同表面法线和BRDF的两个表面在相同照明下具有相同的外观。这个方向上的早期工作可以在Horn和Ikeuchi[10]中找到。在基于示例的方法中，将一个具有已知表面法线的参考物体放置在目标场景中。此外，假设参考物体的BRDF与目标物体的BRDF相同。然后，通过搜索与目标外观最匹配的参考物体的相应像素强度，为目标物体的每个点恢复一个表面法线。为了放宽参考和目标之间相同BRDF的假设，Hertzmann和Seitz[9]引入了两个参考物体，一个漫反射球体和一个镜面球体，放置在目标场景中，并通过参考BRDF的非负线性组合来近似目标BRDF。虽然这种方法使得基于示例的光度立体适用于更多样化的材料，但通过两个BRDF的线性组合来近似多样化的材料仍然不准确。此外，在许多实际应用中，将参考物体放置在目标场景中是不可取的。Hui和Sankaranarayanan[11]引入了虚拟示例的基于光度立体，它在不实际引入参考物体到目标场景中的情况下执行基于示例的光度立体。他们使用MERLBRDFs[16]在目标场景照明下渲染虚拟参考球体，并假设目标BRDF位于MERLBRDFs的非负范围内。然而，在虚拟示例的方法中，存在许多耗时的过程，如渲染虚拟球体、用于解决非负最小二乘问题的迭代优化以及对所有可能表面进行搜索。m1...mL′,…23130法线。为了降低计算成本，他们提出了一种高效的搜索算法，但这种算法无法保证找到最优解。我们的方法与他们共享了目标BRDF可以由几个参考BRDF的组合表示的假设。然而，我们将问题视为离散的假设和测试搜索问题，这在目标函数的约束范围内保证了达到全局最优解的保证。此外，由于高效的预计算，我们的方法能够在合理的时间内搜索所有表面法线候选。03. 图像形成和问题陈述0假设一个表面点具有单位表面法线n ∈ S2 �R3，被一个入射方向光照l ∈S2照亮，没有环境光照或全局照明效果，如投影阴影或互反射。当这个表面点被具有线性响应的相机观察到时，测量到的强度m ∈ R+可以表示为0m ∝ ρ(n, l)max(n�l, 0)，(1)0其中ρ(n, l): S2 × S2 →R+是一个通用的各向同性双向反射率分布函数（BRDF）。在校准的光度立体中，静态相机记录了每个表面点在各种光照方向{l1，... lL'}下的多个（L'个）测量值{m1，...mL'}。然后，方程（1）可以以矩阵形式表示为0�0� �0�0�0� �� � m0∝0�0� 0max(n�l1, 0) 0 ... 0 max(n�lL', 0)0�0� 0� �� � E0�0� 0ρ(n, l1)... ρ(n,lL')0�0� �0� �� � ρ0其中m是一个测量向量，E是一个对角辐照度矩阵，ρ是一个反射矢量。我们将ρ建模为BRDF基向量的线性组合，类似于Hertzmann等人[9]和Hui和Sankaranarayanan[11]的方法。通过将M个已知的BRDF基向量堆叠成BRDF基矩阵B，ρ可以表示为0ρ =0�0� 0ρ1(n, l1) ... ρM(n, l1) ... ... ...ρ1(n, lL') ... ρM(n, lL')0�0� 0� �� � B0c，0其中c =[c1，...，cM]是BRDF系数向量。有了这个，图像形成模型可以简化为0m = EBc. (2)0问题陈述：我们的目标是找到每个表面的最佳表面法线n和BRDF系数c。0BRDF张量� ∈ �+�×�×�0假设的法线��0采样的BRDF矩阵�� ∈ ��'×�0表面法线�0光照�0材料0已知的光照方向0材料光�0图2：从表示广泛的光照方向、表面法线和材料（BRDF）的BRDF张量T开始，我们为一组已知的光照方向和一个假设的表面法线ni切出一个采样的BRDF矩阵Bi。Bi的列空间是在已知光照方向下假设法线的所有可能材料的反射空间。0给定观测m和相关光照方向{l1，...lL'}，基于方程（2）的模型，我们可以找到一个点的辐照度矩阵E和BRDF矩阵B。E和B是表面法线n的函数。04. 提出的方法0我们的方法将光度立体问题视为一个离散搜索问题，其中表面法线的空间被离散化。我们假设一个表面法线n，并测试它是否（近似地）满足方程（2）的图像形成模型。通过对所有可能的表面法线进行这种假设和测试，我们的方法能够找到一个全局最优的表面法线n和最佳满足方程（2）的相关BRDF系数c。04.1. 假设和测试策略0设N = {n_i | i = 1, ...,N}为表面法线的离散空间，我们称之为一组表面法线候选项。我们为多样的BRDF准备了一个张量表示，其轴是（1）表面法线，（2）光方向和（3）材料。假设表面法线和光方向的空间被离散化为N和L个箱子，分别有M个不同的BRDF。那么，BRDF张量T可以定义为T ∈ R N × L ×M+（见图2左侧）。为了简单起见，假设BRDF张量包含观察场景的实际光方向。如果我们对场景点假设某个表面法线n_i ∈ N，在已知的L' ≤L个光方向下，我们可以沿着假设的表面法线n_i和一组L'个已知光方向从BRDF张量T中切取一个采样的BRDF矩阵B_i ∈ R L' × M+0如图2所示，使用已知的光方向切取一个采样的BRDF矩阵B_i ∈ R L' × M+。我们还可以23140为假设的表面法线n_i形成一个辐照度矩阵E_i。使用B_i和E_i代替B和E，式（2）变为0m � E_i B_i c def = D_ic0其中D_i（= E_i B_i）∈ R L' × M。对于超定的情况L' >M，最佳解释测量的BRDF系数c的最小二乘解是0c� = (D�D)−1D�m = D†_i m0其中D†_i是D_i的伪逆。估计的BRDF系数c�对于假设的法线n_i和采样的BRDF空间B_i来说是最小二乘最优的。我们可以通过评估ℓ2重建误差来测试假设的n_i，即0e_i = ∥m - D_i c�∥^20因此，最优的表面法线n�可以被找到，作为以下目标的最小化器0n� = n_i�, i� = argmin i∈{1,...,N} e_i0一个朴素的实现可能需要大量的计算工作来解决这个问题。因此，我们现在引入一种高效的预计算策略。04.2. 预计算0假设表面法线n_i的重建误差e_i可以进一步简化为0e_i = ∥m - D_i c�∥^2 = ∥m - D_i D†_i m∥^20= ∥ I - D_i D†_i m∥^20def = ∥Z_i m∥^20其中Z_i（= I - D_i D†_i）∈ R L' ×L'在给定假设的法线n_i的情况下是唯一确定的。我们可以预先计算一组{Z_i}，用于所有法线候选项N，并在测试时只需评估所有i的Z_im的大小。这个预计算只发生一次，结果可以用于任何新的场景，只要光照配置不变。04.3. 降低D_i的维数0原则上，最小化式（4）可以给出表面法线n的正确解。然而，在实践中，我们需要注意矩阵D_i ∈ R L' ×M的维数和范围。具体来说，当L' < M或m ∈ran(D_i)（D_i的范围）对于所有的D_i都成立时，存在一个或多个BRDF系数向量c�使得所有重建误差{e_i}都为零。0�0ran(D$)0� # � $0Ω � �，-0图3：重建误差的几何解释。测量的重建误差∥Z_im∥^2可以看作是测量向量m与L'维空间Ω中D_i所张成的子空间之间的距离。0如图3所示，测量向量m存在于L'维空间Ω中。矩阵D_i的列向量在Ω中构成一个秩为(D_i)的子空间，并且测量重建D_i c�= D_i D†_im位于该子空间中。因此，从几何角度来看，重建误差∥Z_im∥^2可以被视为测量向量m与D_i所张成的子空间之间的距离。从这个角度来看，如果rank(D_i) =L'，则D_i的列向量张成整个Ω；因此，无论假设的表面法线n的正确性如何，重建误差始终为零。为了避免这种情况，如果L' 

下载后可阅读完整内容，剩余1页未读，立即下载