多视点光度立体的简化和改进

3126多视点光度立体再探Berk Kaya1Suryansh Kumar1*Carlos Oliveira1Vittorio Ferrari2Luc VanGool1，3 ETH Zürich1，Google Research2，KU Leuven3摘要多视图光度立体（MVPS）是从图像中获取物体详细和精确的3D的首选方法。虽然流行的MVPS方法可以提供出色的结果，但它们通常执行起来很复杂，并且仅限于各向同性材质对象。为了解决这些限制，我们提出了一个简单，实用的方法MVPS，它适用于各向同性以及其他对象材料类型，如各向异性和光泽。本文中提出的方法利用深度神经网络中的不确定性建模的益处，用于光度立体（PS）和多视图立体（MVS）网络预测的可靠融合然而，与最近提出的最新技术相反，我们引入了神经体积渲染方法，用于MVS和PS测量的可靠融合。引入神经体绘制的优点是它有助于对具有不同材料类型的对象进行可靠建模，其中现有的MVS方法，PS方法或两者都可能失败。此外，它允许我们研究神经3D形状表示，最近在许多几何处理任务中显示出出色的结果。我们建议的新损失函数旨在使用最确定的MVS和PS网络预测以及加权神经体绘制成本来拟合隐式神经函数的零水平集。所提出的方法显示了国家的最先进的结果时，广泛的测试，在几个基准数据集。1. 介绍多视图光度立体（MVPS）旨在使用多视图立体（MVS）和光度立体（PS）图像恢复对象的准确和完整的3D重建[16]。虽然PS在恢复物体的高频表面细节方面是示例性的因此，MVPS继承了PS和MVS方法的互补输出响应。 与主动范围扫描方法[4，34，40]相反，它提供了*通讯作者（gmail.com）一种高效、低成本和有效的可靠3D数据采集替代方案因此，它在建筑修复[34]、机器视觉工业[16，23，41]等领域受到广泛青睐。解决MVPS的最新几何方法确实提供了准确的结果，但由后续应用的多个优化和过滤步骤组成[16，29，36]。此外，这些步骤是复杂的，需要专家的手动干预才能精确执行，从而限制了其自动化[29，36]。此外，这些方法不能满足现代工业对恢复的3D模型的有效存储的可扩展性和低存储器占用的最近，用于求解MVPS的基于神经网络的学习方法与几何方法相比几乎没有什么关键优势[22，23]。这些方法更简单，有效，并且可以提供具有较低内存占用的高质量3D然而，它们依赖于关于材质类型的特定假设，这限制了它们对各向异性和光泽材质对象的应用。在本文中，我们提出了一个通用而简单和有效的方法来解决MVPS问题。受最近MVPS方法[23]的启发，我们在多视图立体和光度立体神经网络中引入了不确定性建模，分别用于3D位置和表面法线的可靠推断。虽然不确定性估计可以帮助我们过滤错误的预测，但它可能导致对象的3D形状的不完整恢复为此，Kaya etal.[23]最近提出Eikonal正则化来恢复由于滤波而丢失的细节。相反，我们引入了隐式3D形状表示的神经体绘制。它比[23]管道有几个关键优势：（i）它有助于将MVPS的应用扩展到具有不同材料类型的更广泛（b）款。（ii）它进一步增强了MVPS中隐式神经形状表示的性能和使用，从而在基准数据集上产生最同时，最近的多视图立体方法已经表明，使用隐式神经3D形状表示的神经体渲染可以通过多视图图像渲染技术有效地对不同的对象集进行建模[20，28，33，48，49]。因此，将其引入MVPS可以帮助处理具有挑战性的对象在-3127PSXY{}∈我ps1 2LX{}然而，基于渲染的几何建模可以在MVS和PS方法都无法估计表面几何形状的情况下成功[29，34，36]。此外，与MVPS中对显式几何图元执行优化或过滤的标准实践相反[29，34，36]，即，网格，神经体绘制依赖于神经隐式形状表示，这是内存高效的，是可扩展的[48]。总之，我们的论文做出了以下贡献：• 我们提出了一个简单，高效，可扩展，有效的MVPS方法的详细和完整的恢复对象• 我们提出的不确定性感知神经体绘制使用来自深度MVS和深度PS网络的置信先验，并将其与隐式几何正则化器封装在一起，以解决MVPS，从而在基准数据集上展示最先进的重建结果[29]。• 与当前最先进的方法相反，我们的方法适用于更广泛的对象材质类型，包括各向异性和光泽材质。因此，扩大了MVPS在3D数据采集中的应用。2. 相关工作经典的MVPS。早期的MVPS方法假设了一个特定的分析BRDF模型，该模型可能不适用于反射率与假设的BRDF模型不同的真实世界对象[13，16，30]。后来，Park等人 [36，37]提出了一种分段平面网格参数化方法，用于通过位移纹理贴图恢复对象然而，他们的工作并不是为了模拟表面反射特性。其他方法如[8，39]对BRDF进行建模，但仅限于假设表面法线已知的近平面表面建模。在过去几年中提出的其他经典MVPS方法确实提供了不错的结果[29，51];然而，它们引入的流水线由几种复杂的优化算法组成，例如等深度轮廓估计、轮廓跟踪、运动恢复结构、多视图深度传播、点排序、使用[34]的网格优化和ACLS算法[9]。此外，其中一些物体的3D重建。此外，[22]提出了神经逆渲染的思想来恢复对象的形状和材料属性。在所有深度MVPS方法中，最近引入的基于不确定性的MVPS方法[23]（UA-MVPS）提供了更好的3D重建结果。然而，它不能各向异性和光泽的ob-bomb（见图。（b）款。相反，本文提出了一种方法，可以成功地使MVPS三维采集设置工作的各向同性，各向异性和光泽的对象与宏伟的结果。3. 预赛MVPS设置。 Her n'andezetal. [16]提出了介绍性MVPS采集设置1。它是由一个转盘安排，其中光变化的图像（PS图像）的物体放在桌子上被捕获从一个给定的观点。请注意，相机和光源对于每个表旋转，捕获并存储每个光源的PS图像（见图11）。1（a））。符号和定义。将L表示为点光源的总数，将V表示为视点的总数（对应于每次桌子旋转），我们定义v=X v，X v...，Xv作为来自每个视点V的摄影测量立体图像的集合[1，V]，和mv=Y1，Y2...，Y V作为使用如在[ 29 ]中执行的Y v= median（v）构造的多视图图像的集合。校准设置下的MVPS算法的目标是恢复对象的精确和完整的几何形状。使用MVS和PS的动机是由于[34]中阐述如上所述，尽管PS可以提供可靠的高频几何细节，但它通常会导致粗尺度下的低频表面失真[34]。我们可以纠正这样的失真，使用对象的MVS图像的几何约束使用基本的MVPS实验装置，很容易恢复两种类型的表面先验：（i）每像素的3D位置（pi∈R3×1）的多视点立体图像步骤需要专家的干预，(ii) 每个曲面点的曲面法线（nps∈R3×1）因此，重新实施、自动化和执行具有挑战性。此外，该方法的反射率建模是建立在Alldrin等人。 [2] Tan et al.[42]功，因此，它的应用仅限于各向同性的物质对象。深度MVPS。近年来，已经提出了基于深度学习的MVPS方法作为经典方法的替代方案。 不久前，卡亚等人。 [24]第二十四话使用光变化图像[10，15，27，44]2.因此，通过设计，问题归结为有效使用MVS和PS表面先验、光变化图像、光和相机校准数据以用于高质量密集3D表面恢复。为了使3D位置优先，大多数方法采用运动结构方法或其变体[29，37]。对于表面法线先验，流行的图像形成模型之一是：介绍了一种基于神经辐射场的MVPS方法（NR-MVPS）。建议的管道预测对象不管它的简单性如何，它都不能提供高质量的1参考Nehab等人。[34] 2005年的工作，其使用主动范围扫描传感器来解决类似的问题。2请注意，MVS重建可能无法提供可靠的每像素3D重建。因此，不良的3D估计被过滤，这导致对象3D点的稀疏集合。3128J∈联系我们v=1Y{}·你好 。Σ·各向异性材料光泽材质UA-MVPS我们(a) MVPS设置（b）我们方法图1. （a）Her n'andez等人概述的经典MVPS设置。 [16]I'msorry. （b）我们的方法相对于当前最先进的深度MVPS方法的优点，即，[23]第二十三话可以看出，我们的方法是能够正确地恢复各向异性和光泽的材料对象的精细对象用于上述说明的3D模型取自[33]数据集。X v（pi）=ejρni（pi），lj，v∈ani（pi），lj∈c（pi）（一）这里，函数ρ（）表示BRDF，λ a（ni（pi），lj）=max（ni（pi）Tlj，0）说明附着阴影，并且λ c（pi）0，1根据p i是否位于投射阴影区域中而将0或1值分配给pi。 lj是光源方向，ejR+是由于第j个光源的光强度值的标量。虽然表面法向可以使用等式以合理的精度估计（1）成像模型[5]，用它来建模BRDF是有挑战性的。因此，我们提出了一种基于神经网络的图像渲染方法，以克服这样的限制。实验结果表明，使用我们的方法有助于MVPS工作更广泛的一类对象材料。接下来，我们将详细描述我们解决MVPS问题的方法4. 我们的方法如第2.一方面，我们有国家的最先进的几何方法，是由几个复杂的步骤，因此不适合自动化。此外，它不能满足现代的可扩展性的需求，因此，对于当前处理大量对象数据集的挑战，缺乏说服力另一方面，UA-MVPS [23]最近关于深度MVPS的工作简单且可扩展，但仅适用于各向同性材质对象。本文提出了一种简单的，可扩展的，有效的方法，可以处理更广泛的对象。我们首先分别使用不确定性感知的深度多视图立体[43]和深度光度立体网络[19，23]从MVS和PS图像（MVPS设置）不确定性感知网络测量其可靠融合的预测表面测量的适用性然而，基于不确定性测量导致局部表面几何形状的损失。因此，我们在整体损失函数中引入几何正则化项以恢复对象的完整3D几何形状。为此，我们表示的对象MLP基于点云、表面法线和基于Eikonal偏微分方程[6]开发的隐式几何正则化项将符号距离函数（SDF）近似为可拟合表面。上述管道的灵感来自UA-MVPS [23]，它通常工作得很好，但不能对各向异性或光滑表面建模。因此，这不是一个通用的解决方案，不适合大型应用。另一方面，我们观察到，在多视图体绘制算法中将对象的光场和密度表示为神经网络改进了一般对象的3D重建。此外，如充分研究的，体绘制很好地推广这样的观察导致我们引入一个不确定性感知的体积渲染方法的MVPS问题。正如我们将展示的那样，它不仅有助于在各向同性材料对象上实现最先进的结果，而且还可以在具有挑战性的主题（如光滑纹理较少的表面对象）上提供准确的3D接下来，我们详细描述我们的方法的每个组成部分，导致最终的损失。4.1. 不确定性感知的Deep-MVS网络给定一组多视图图像mv， Kv，Rv，tvV每个摄像机视图的摄像机本征函数、旋转和平移的集合，目标是恢复与每个像素对应的对象的3D位置，并测量其重建质量。为此，我们使用PatchMatch- Net [43]架构，因为它在大规模图像上具有最先进的（SOTA）此外，它提供了具有每像素置信度值的密集深度图。这样的一个in-3129匪c2KHPS→我∇DPS匪cJGT2WK 2我我我我我我我PSv我 i=1我我X θHθ.ΣPSI3Cj=1herent属性允许过滤不可靠的深度预测，而不必添加额外的不确定性估计。第因此，我们可以在网络参数上使用一个由λw模块接入网络。基于经典PatchMatch [3]算法的思想，它从生成随机深度假设开始。 然后L=1n−n+λW2（3）j=1k=1网络以从粗到细的方式重复传播和评估不同图像尺度下的现有深度假设具体地，从每个输入图像中提取特征图，并且所提取的特征用于生成新的深度假设。随后，评估生成的为此，使用分组相关性计算扭曲特征图之间的相似性[45]。最后，深度di和在pix eli处的置信度Ci值计算如下：d=softmax（Jj），C=softmax（Jj）（2）由方程式（3）n_0_j，n_gt分别表示网络的预测表面法线和地面实况表面法线。N_mc是MC样本的数量，W_k代表层k=1，.，K.我们在CyclesPS数据集[19]上训练了一次网络，并使用相同的网络进行测试。在测试时，我们保持dropout层处于活动状态，以获得非确定性网络，并在同一输入上多次运行网络。这使我们能够捕捉表面法线预测的波动。我们对像素i处的所有预测取平均值，以计算输出法线nps∈R3×1，方差σε2∈R3×1。既然我们在-j=1对于高度自信的预测，我们指定ci=1，如果对于剩余的像素，kσε2<τps和kε pcps= 0[23]。jthjippsi这里，di是像素i处的j深度假设，而Ji是这里，c i 是一个二进制变量，用于指示选择对应深度假设的计算匹配成本。 是深度假设的总数，并且是像素处最可能的深度假设。在最精细的图像尺度上应用PatchMatchNet之后，我们通过pi=RvdiK−1oi+ tv. 此外，我们引入了每像素二进制我正常的预测。4.3.形状表示与正则化使用深度MVS和深度PS网络-如上所述，我们过滤可信的3D位置和表面法线{pi，n}的预测函数 . . ，I]。我们的目标变量cmvs表示高度置信的估计值。我们-符号cmvs=1，当i> τmvs并保持cmvs=0，休息[23]。有关deep-MVS网络列车的更多详细信息和测试时间细节参考补充或[43]。4.2. 不确定性感知的Deep-PS网络为了从PS图像Xv和光源方向{lj}L预测每个视图的表面法线，我们使用网络ar。是将物体那些可靠的中间前科 为此，我们提议使用可靠的预测估计来学习由隐函数fθ（x）：R3R我们使用由θ参数化的MLP对函数进行建模，假设其零水平集近似于物体表面。为了找到最佳θ，我们考虑Eikonal方程（||f（x）||=1）的值。它对f（x）建立了一个约束，BRDF模型假设，网络从训练数据中学习，将输入的观测图映射到表面法线。观察图是通过存储由于不同光源而导致的像素处的强度值而获得的基于2D矩阵的表示实验表明，基于观察图的表示有助于准确估计一般各向同性BRDF的表面法线[47，50]。有关网络架构和观测图的更多详细信息，请参阅Ikehata这是一个真正的SDF。注意，即使边界条件-满足给定表面估计所施加的条件（即，f θ（pi）=0，xf θ（pi）=nps），则零水平集曲面可能不存在唯一解. 然而，使用Eikonal条件作为正则化子来描述表面3D估计的不完整集合有利于光滑和合理的表面[14]。因此，我们在优化中考虑以下2尽管PS网络架构可以预测Ob-LEikonal=λeEx（λ exfθ（x）λe−1）（四）对象的表面法线，它不能测量预测值的不确定性，这是我们方法的关键组成部分之一。在[23]之后，我们采用蒙特卡罗（MC）放弃方法[11，12]并建立了一个不确定性感知的深度PS架构。简而言之，我们在所有卷积层和全连接层之后引入了一个概率为pmc的dropout层。通过这种调整，网络可以被视为贝叶斯神经网络，其参数近似于伯努利分布。其中，期望值是关于. r. t.概率分布.请注意，最近的工作[23]已经考虑了Eikonal正则化来从MVS和PS网络预测中插值曲面。然而，我们在论文中提出的问题是，是否充分利用了MVPS提供的所有成像先验，或者我们能否做得更好？.在这项工作中，我们表明，通过巧妙地使用多视图图像先验，我们可以比UA-MVPS[23]表现得更好。为了实现这一点，我们引入神经体绘制方法MVPS。在[19]中提出的架构。而不是有一个参数3130S∈我∇我 我JJ JψJJ（s）=2β2β个mvpIi=1我θ我我我我我我我我 我 1不 xi（t）σxi（t）rxi（t），ni（t），vidt，（|M|j∈SiJeXX θ我0我..Σ≤我β1。Σ.Σ。 − ∫Σ图2. 方法概述（从左到右）：我们分别通过不确定性感知的deep-MVS和deep-PS网络获得高度可信的物体3D位置和表面法线预测。然后，我们学习物体表面的符号距离函数表示最后，我们的优化使用体绘制技术来恢复表面的缺失细节，提供具有挑战性的材料类型的高质量3D重建。4.4. 神经体绘制体绘制技术的最新研究表明，在从多视图图像学习场景表示方面取得了杰出的成果[33]。虽然这些技术不...将预期颜色近似为：I（c，v）= T。1− exp（−σ δ）<$r。x，n，v（7）j∈Si尽管它们具有新颖的视图合成，但是它们不能从学习的体积密度忠实地提供对象的几何形状，导致不准确和嘈杂的因此，对于我们的工作，我们使用基于SDF的体绘制方法[48]，其将体密度建模为符号距离值的函数，如下所示：σ（x）=αΦβ（−fθ（x）），1exps，如果s0（5）1−exp −s 、如果s >0这里，i是沿着ray的样本集，δj是每个相邻样本之间的距离，Tj是近似的透明度[49]。为了实现r，我们引入了第二个具有可学习参数的MLP。辐射场网络rθ放在有符号距离场网络fθ之后（见图2）。此外，我们引入了一个特征向量zR256，它是使用全连通层从fθ中提取的。该特征向量被馈送到辐射场网络r，以考虑全局照明效果。我们在测试对象上对fθ和rθ网络进行了优化。优化后，我们提取了fθ的零水平集，使用marching cubes算法覆盖形状网格[31]。这里，α、β>0是可训练参数，而Φβ（. ）是零均值拉普拉斯分解的累积分布函数，有关更多详细信息，请参见第5.1节和[48]节。优化. 我们的整体训练损失如下：报应等式（5）确保密度值的平滑过渡。MVS损失PS损失在物体边界附近使用，同时允许L=1Σ。cmv s|fx `（p）|+cpsnrx−`nps技术[21，32]，相机射线xi（t）=ci+tvi的预期颜色I（c i，v i），其中相机中心ci∈R3，∈R3可以建模为：渲染损失+（1−cmvscps）xI`−I（c，v）掩模损失Eikonal正则化埃拉特湾Σ。Σ。+ λmtn你好。maxx（`σ/α），0+fx`（x）2（八）其中，Tx（t）=exptσ（x（s））ds是透明性，ni（t）=xfθ（xi（t））是水平集射线的边界。 利用求积法则进行数值计算当量（8）由五个术语组成。在这里，第一项迫使有符号距离在深度MVS网络的高保真位置预测上消失。同样，SEC-第二项鼓励射线1MVS深度多视图立体网络拉普茨1拉普公司深度光度立体网络RGB中文（简体）σ = α���β（−���������）体积渲染MVS损失��� ���(������,������)������{，mvs}=MVS先验渲染损失{ps，ps}������PS损失=���������=PS优先级…n其中Φ一个合适的提取零水平集优化后的表面恢复。受经典体绘制的启发观察方向矢量viI（ci，vi）=i∈M3131积分[32]和[49]中的射线采样策略，我们r=0j∈Si Tj（1−exp（−σjδj））ni（t）与…3132∈M∼C我--我高度自信的深度PS预测。第三项引入了不确定性感知的渲染损失，以优化MVS或PS失败的像素直观地，这允许优化使用渲染来恢复丢失的表面细节。我们进一步改善的几何形状使用的对象掩模。为此，我们首先找到对象掩模外部的射线上的最大密度（即，i）。然后，我们应用交叉熵损失（CE）来最小化光线和几何相交，如[49]所示。最后一项应用Eikonal正则化进行合理的表面恢复，如第4.3节所述。图（2）显示了我们建议的方法的整体流程5. 实验及结果数据集。首先，我们在DiLiGenT-MV上评估了我们的方法[29]。DiLiGenT-MV是MVPS设置的标准基准，由五个真实世界观测组成。 使用放置对象的转台装置获取图像1。离摄像头5米远。转盘旋转20个均匀的旋转为每个对象，96个不同的光源被用来捕捉光变化的图像在每个旋转。虽然DiLiGenT-MV基准测试由具有非朗伯表面的挑战性对象组成，但所有提供的对象都满足各向同性BRDF属性。因此，我们模拟了一个新的数据集consisting与各向异性和光泽表面的对象。与经典设置类似，我们使用具有36个角度旋转的转盘设置来模拟我们的数据集。我们将72个光源以同心圆的方式放置在相机周围（见图1）。1（a））和对应于每个光源的渲染图像。我们使用许可的Houdini软件来模拟我们的设置并渲染从NeRF合成数据集[33]中获取的具有三种不同材料类型（木材，灰色，红色）的单个对象3D模型的MVPS图像。其中Wood类用于研究各向异性材料的力学行为，其它两类用于分析本方法我们的地面实况佛0.9350.9340.6900.9220.993POT20.4580.9840.8580.9070.991阅读0.8690.9750.7200.9700.975图3.DiLiGenT-MV基准上MVPS重建的比较[29]。我们报告F-分数度量结果的数值比较。我们可以观察到，我们的方法恢复了精细的细节，并提供了具有挑战性的对象的高质量重建。(a) 深度MVS网络。深度MVS网络在DTU的训练集上训练[ 1 ]。 训练需要8个epoch，学习率为0。001和亚当优化器[25]。我们在测试时的三个较粗阶段使用MVS训练模型，以粗到细的方法预测深度。使用等式（2）计算每个像素i处的深度di和置信度i。 使用[18]工作进一步增强预测深度，并通过将深度值反向投影到3D空间来将其转换为一组3D点pii=1。最后，我们通过设置τmvs=0来获得二进制置信度cmvs。9用于可靠融合置信位置预测。(b) 深度PS网络。 我们训练深度PS网络在CyclesPS数据集[19]上使用Adam opti- mizer [ 25 ]进行10个时期，学习率为0。1.一、我们使用pmc=0的概率。2在架构的每个丢弃层中。对于训练，我们设置Nmc=10和λw= 10−4（参见等式：（3））。 在测试时，我们首先使用MVPS图像创建每个像素的观察图然后，我们在每个观测图上运行网络100次，以获得输出表面法线nps和预测方差σs2[11，12]。最后，我们得到ps我对纹理较少的光滑物体进行处理。我们以1280×720的分辨率渲染图像，以更好地捕捉物体细节。5.1. 实现细节我们使用Py- Torch 1.7.1 [38]在Python 3.8中实现了我们的方法，并在具有11 GB RAM的单个NVIDIAGPU上进行了所有实验。我们首先在监督设置下训练不确定性感知的深度MVS和深度PS网络。然后，我们使用这些网络在测试时进行3D位置和表面法线预测。最后，MVS图像以及网络预测及其每像素置信度值被用于优化所提出的损失函数（等式2）。（8））。3CC-BY-3.0许可证。4我们的数据集和与之相关的进一步细节将很快公布。通过设置τ ps = 0，在第i个像素处的置信度值c i。03.(c) 整体形状优化。 如§ Sec. 4.4在优化过程中，我们对两个网络进行了优化：符号距离场网络（f θ）和辐射场网络（rθ）。fθ由8个MLP层组成，第一层与第四层之间有一个跳跃连接。另一方面，r有四个MLP层（见图1）。2）的情况。两个网络的所有层都有256个单元。我们将傅立叶特征编码应用于输入（位置x和视图方向v），以提高网络表示高频细节的 对于等式（8）中的损失函数，我们设置λ m= 0。1且λe=1。我们使用一组多视角图像，这些图像是在同一随机选择的光源的照明下捕获的，以计算渲染损失。 我们使用Adam优化器[25]，学习率为10- 4，训练时间为10 -4epoch。在每个时期，我们使用1024条射线的批次3133D↓|→方法类别→深度多视图立体光度立体视图合成数据集↓|方法→MVSNet [46]PM-Net [43]强大的PS [35]SDPS-Net [5][19]第十九话NeRF [33]VolSDF [48]我们熊0.1350.6720.2660.2390.2930.8650.9620.965佛0.1470.7990.3670.2980.3630.7130.7860.993牛0.0950.7340.2450.4470.5110.8100.9850.987POT20.1260.6660.2310.4640.6320.8590.9460.991阅读0.1150.8340.2420.1880.5080.6730.6830.975平均0.1240.7410.2700.3270.4610.7840.8730.982表1. F-DiLiGenT-MV基准上独立方法重建的评分比较[29]。我们的方法优于独立的多视图立体，光度立体和视图合成方法在所有的对象类别。从每个视图和样本64点沿每条射线[48]。为了计算Eikonal正则化，如等式（4）所示，我们还全局均匀地采样点。因此，分布代表这些射线样本和全局样本的集合。优化后，我们提取零水平集，数据集方法熊菩萨牛锅2阅读平均值表 2. F-评分 比较我们0.9930.9870.9910.9750.9650.982个mvp 重建在通过fθ学习SDF表示，并在5123网格上使用marchingcubes算法[31]恢复形状网格。5.2. 统计分析我们对DiLiGenT-MV数据集进行了比较分析[29]。为了评价形状重建的质量，我们使用了著名的Chamfer-L2和F-score[26] Mr.为了更好地理解，我们提出了每-根据方法类型的不同，比较结果分为两类.(a) 独立方法比较。通过独立方法，我们指的是仅使用一个模态的方法，即，用于3D重建的MVS或PS图像我们考虑SOTA MVS，PS和视图合成方法进行比较。请注意，我们使用Horn和Brooks算法[17]进行正常积分以恢复深度图。然后，我们将恢复的深度反向投影到3D空 间 ， 以 评 估 重 建 性 能 。 表 1 列 出 了 这 些 方 法 在DiLiGenT-MV上的F评分比较[29]。统计数据表明，我们的方法始终优于形式的独立的方法。此外，我们观察到没有一种独立的方法可以可靠地恢复对象相反，我们的方法通过有效地利用复杂的表面和图像的先验知识，给出了精确的重建。(b) MVPS方法比较。表2提供了在DiLiGenT-MV基准数据集上使用SOTA MVPS方法的F为了进行比较，我们考虑了基于显式几何建模的经典方法[29，36]和基于神经隐式表示的深度方法[23，24]。数值结果表明，我们的方法提供了三个对象类别的最高分数此外，它优于所有现有的MVPSDiLiGenT-MV基准[29]。我们的方法在各种对象上都表现得很好，平均来说优于其他方法表示只需要3.07MB的内存，而显式几何方法可能需要高达90MB的内存。这些优点使我们的方法成为求解MVPS的一种有效的算法选择。5.3. 进一步分析(a) 各向异性和无纹理光泽表面。 我们在我们的合成数据集上进行评估，以分析我们的方法在各向异性和无纹理光滑表面上的效率。图4（a），我们提供了我们的方法与最近的UA-MVPS [23]的倒角L2结果表明，我们的方法在光滑（灰色，红色）和各向异性表面（木材）上的性能优于图4（b），我们展示了格雷类别上的不确定性感知深度MVS和深度PS网络从视觉结果中可以观察到，深MVS不能在纹理较少的光滑表面上提供可靠的位置估计。因此，仅基于MVS和PS先验融合的方法（如UA-MVPS）不能处理所有类型的曲面。另一方面，我们的方法可以恢复丢失的表面信息，通过有效地利用体绘制，因此，它可以适用于各向异性和光泽的表面轮廓。(b) 优化. 在这里，我们研究了我们提出的优化损失的有效性在方程：（8）与烧蚀研究。为此，我们通过从总体损失中去除（i）MVS损失项，（ii）PS损失项，（iii）渲染损失项和（iv）不确定性建模（cmvs和cps）来在表3中，我们支持-我我平均方法值得注意的一点是，（i）我们的方法提供了一个可扩展的和易于执行的实现，而不需要繁琐的顺序步骤，在经典的方法[29]，（ii）我们的基于MLP的形状表示，参见在这些配置中的每一个下实现的重建质量的ChamferL2数值结果验证了基于-MVS、PS和渲染损失项的整合提供了最佳的0.9350.7940.9740.7360.8950.9220.9790.9070.9700.8560.6900.8440.8580.7200.9860.9340.9890.9840.9750.5040.9350.9150.4580.869[23]第二十三话[24]第二十四话B-MVPS [29]R-MVPS [36]3134UA-MVPS我们Deep-MVS网络灰色TSDF-融合我们的地面实况2520自信的深度15预测UA-MVPS1050灰色红木数据集基于Deep-PS网络可靠的曲面法线预测我们(a) 倒角L2比较(b) 无纹理对象(c) 与TSDF-Fusion的图4.（a）在我们的合成数据集上，我们的方法与UA-MVPS [23]的倒角L 2比较（越低越好）。（b）我们展示了无纹理物体的深度和表面法线预测。用黄色标记的像素表示置信的MVS或PS预测（cmvs和cps）。我我请注意，MVS无法可靠地预测无纹理表面上的深度，这导致UA-MVPS的结果较差[23]。另一方面，我们的不确定性感知体绘制方法可以恢复丢失的表面信息，因此，提供更好的重建。（c）我们的方法与TSDF融合算法的比较[7]。我们报告F-分数度量的数值比较。设置↓|数据集→熊佛牛POT2阅读平均无MVS损失0.1890.0890.2020.1560.3530.198无PS损失0.3010.5720.1840.2620.4280.349无渲染损失0.1540.4710.2690.2350.3740.301无不确定性感知。我们0.2670.2130.0850.0880.3130.1760.1370.1980.2510.2530.2110.186表3. MVS、PS、渲染损失项和不确定性建模对重建质量的贡献。我们报告Cham-fer L2度量进行比较（越低越好）。显然，我们在公式（8）中提出的损失平均产生最好的结果。图5. 在随机选择的路径上重建的表面轮廓。显然，我们的表面轮廓与地面实况（GT）重叠，这表明我们的重建质量很高。DiLiGenT-MV的结果[29]。(c) 表面轮廓。为了显示我们恢复的3D重建的质量，我们研究了表面上任意选择的曲线上的表面拓扑。图5示出在佛陀和牛序列上的这种表面剖面的几个例子。显然，我们恢复的表面轮廓与地面实况吻合得很好。(d) 体积融合方法。当然，可以使用鲁棒的3D融合方法，例如TSDF融合[7]来重新覆盖对象的3D重建。因此，我们进行了这个实验，以研究使用这种融合技术可以恢复的结果。因此，我们使用TSDF融合来融合深MVS深度和来自深PS正常积分的深度[17]图图4（c）显示TSDF融合提供了比我们差的结果。(e) 局限性。虽然我们的方法在光滑的物体上工作得很好，但在具有镜面反射的材料上可能会失败。此外，物体形状的SDF表示限制了我们对固体和不透明材料的方法。最后，我们的工作考虑了MVPS设置的校准设置，进一步研究我们的在未校准的设置中接近 有关我们方法的更多结果和详尽分析，请参阅我们的补充资料。6. 结论所提出的方法解决了目前已知的MVPS方法的局限性，并使其适用于不同的对象材料类型。对各向异性和无纹理光滑物体的实验研究表明，现有的MVS和PS建模技术可能并不总是提取精确3D重建的必要线索。然而，通过将不完整但可靠的MVS和PS信息集成到渲染管道中，并利用现代视图合成方法的通用化能力来建模复杂的BRDF，可以使MVPS设置以更高的精度很好地用于各向异性材料和光滑纹理较少的对象。最后，在标准基准上的性能表明，我们的方法优于现有的方法提供示范性的3D重建结果。总之，我们相信我们的方法将为将MVPS应用于现实世界的应用（如计量、取证等）开辟新的途径。谢谢。作者感谢ETH对计算机视觉实验室（CVL）的支 持 和 Google 的 重 点 研 究 奖 （ ETH 2019-HE-318 ，2019-HE-323，2020-FS- 351，2020-HS-411）。倒角距离熊0.1290.965牛0.1920.9873135引用[1] Henrik Aanæs ， Rasmus Ramsbøl Jensen ， GeorgeVogiatzis，Engin Tola，and Anders Bjorholm Dahl.多视点 立 体 视 觉 的 大 规 模 数 据 International Journal ofComputer Vision，120（2）：153-168，2016。6[2] 尼尔·奥尔德林，托德·齐克勒，大卫·克里格曼。具有非参数和空间变化的反射率的照相测量立体。2008年IEEE计算机视觉和模式识别会议，第1-8页IEEE，2008年。2[3] Connelly Barnes ， Eli Shechtman ， Adam Finkelstein ，andDanBGoldman.Patchmatch ： Arandomizedcorrespondence algorithm for structural image editing.ACM Trans.Graph. ，28（3）：24，2009. 4[4] Avishek Chatterjee和Venu Madhav Govindu。高效、稳健的大规模旋转平均。IEEE International Conference onComputer Vision，第521-528页，2013年。1[5] Guanying Chen ， Kai Han ， Boxin Shi ， YasuyukiMatsushita，and Kwan-Yee K Wong.自校准深度光度立体网络。在IEEE计算机视觉和模式识别会议论文集，第8739- 8747页，2019年。三、七[6] Michael G Crandall和Pierre-Louis Lions hamilton-jacobi方程的粘性解。美国数学会汇刊，277（1）：1-42，1983。3[7] Brian Curless和Marc Levoy。从距离图像建立复杂模型在Proceedings of the 23rd annual conference on Computergraphics and interactive techniques，pages 3038[8] Yue Dong，Jiaping Wang，Xin Tong，John Snyder，Yanxiang Lan，Moshe Ben-Ezra，and Baining Guo.用于捕获svbrdf的歧管引导带ACM Transactions on Graphics（TOG），29（4）：1-10，2010. 2[9] Lawrence等人用于非参数材料表示和编辑的逆向着色树ACM Transactions on Graph-ics （ TOG ） ， 第 735-745页，2006年。2[10] 古川康孝和卡洛斯·埃尔南德斯。多视图立体：一个教程。Foundations and Trends® in Computer Graphics andVision，9（1-2）：1-148，2015。一、二[11] 亚林·加尔和祖宾·加赫拉马尼。具有Bernoulli近似变分推理的贝叶斯卷积神经网络。arXiv预印本arXiv：1506.02158，2015。四、六[12] 亚林·加尔和祖宾·加赫拉马尼。Dropout作为贝叶斯近似：在深度学习中表示模型的不确定性。在机器学习国际会议上，第1050-1059页。PMLR，2016. 四、六[13] Dan B Goldman，Brian Curless，Aaron Hertzmann，andSteven M Seitz. 来 自 摄 影 立体 的 形 状 和 空 间 变 化的brdfsIEEE Transactions on Pattern Analysis and MachineIntelligence，32（6）：106