具材变化的光度立体基准数据集——DiLiGenT102

12581×DiLiGenT102：具有受控形状和材料变化的光度立体基准任杰吉1*，王飞诗2，张佳豪2，郑倩3，任明君1*，施伯欣2，4，5 *1上海交通大学机械工程学院2北京大学计算机学院视觉技术国家工程研究中心3浙江大学计算机科学与技术学院4北京大学人工智能研究院5北京人工智能研究院{jiejiren，renmj} @ sjtu.edu.cn，{ wangfeishi，1900013264，shiboxin} @ pku.edu.cn，qianzheng@zju.edu.cn摘要使用真实世界的数据集评估光度立体是重要而困难的。现有的数据集是不够的，由于其有限的规模和随机分布的形状和材料。本文提出了一种新的真实世界的摄影立体数据集与更重要的是，我们建议通过使用精心选择的材料从CAD模型中制造对象来控制形状和材料变化，覆盖典型的反射特性方面，这些特性对于评估pho- tometric立体方法是独特的。通过使用这100组图像对最近的照片度量立体方法进行基准测试，特别关注最近的基于学习的解决方案，将10 10形状材料误差分布矩阵可视化以描绘每个评估方法的“肖像”。在综合分析的基础上，讨论了该领域尚待解决的问题为 了 激 发 未 来 的 研 究 ， 该 数 据 集 可 在https://photometricstereo.github.io 上 获得。1. 介绍光度立体通过在不同的照明条件下观察物体来恢复物体的像素表面法线[46]。与其他三维建模方法相比，为了弄清楚用于解决现实世界光度立体问题的各种假设的有效性，已经建立了DiLi-GenT [37]基准数据集，并成功地完全应用于对2016年之前发布的照片测量立体方法进行定量评估。根据使用DiLiGenT作为基准的论文所报告的不断刷新的基准记录，基于深度学习的光度立体方法的开发证明了性能提升（超过2016年报告的性能）[37]。然而，作为最初在基于非学习的光度立体方法占主导地位的时代提出的数据集，DiLiGenT [37]在评估最近的光度立体方法的两个方面存在不足。首先，由于基于学习的方法通常由具有各种形状和反射率的大规模数据训练，DiLiGenT [37]的小数据规模（10个对象）很容易过拟合，这给模型评估和改进带来了瓶颈其次，由于基于学习的方法的可解释性较低，因此很难实现深入分析以理解预训练的神经光度立体模型，因为DiLiGenT [37]使用从日常生活中随机拾取的物体（形状和材料）。为了解决这些挑战，本文构建了一个新的摄影立体基准数据集2，命名为DiLiGenT102，其中包含10种形状乘以10种材料3的100个对象，如图1所示。这100个物体是用高精度的计算机数控光度立体可以产生3D（严格来说是2.5D）信息与丰富的细节，由于每明智的重新阐述。由于目标物体的反射率和光照条件未知，光度立体是一个不适定问题。有一个很长的研究历史，以纳入不同的假设形状（例如，凸形以避免投射阴影）和反射率（例如，各向同性BRDF（双向反射分布函数），以应用反射对称性先验）来使问题易于处理。*通讯作者。[2]部分工作是在北京大学远程实习时完成1[37]的早期版本发表在CVPR 2016 [39]2由于我们的数据集遵循用于评估照片测量立体方法的相同设置假设，因此我们借用DiLiGenT的缩写作为前缀。3材料和形状的缩写如下：材料为聚甲醛（POM）、聚丙烯（PP）、聚酰胺（NY-LON）、聚氯乙烯（PVC）、丙烯腈丁二烯苯乙烯（ABS）、酚醛树脂（BAKELITE）、铝合金6061（AL）、黄铜H59（CU）、模具钢P20（STEEL）和聚甲基丙烯酸甲酯（AEXLIC）;多面体形状为：SQUARE为菱形立方面体，PENTAGON为二十面体的上半部分，HEXAGON为截顶二十面体12582××图1.DiLiGenT102数据集中的100组数据表示为形状-材料（10 10）矩阵。 对于形状变化（逐行），10种材料分为三组：球体组包含球体的光滑形状-BALL及其具有不同类型细节的变体- G OLF，S PIKE和N UT ;多面体组包含多个方向面的分段形状- S QUARE，P ENTAGON和HEXAGON ;一般形状组包含工业加工和日常生活中具有不连续表面的对象- P ROPELLER，T URBINE和B UNNY。对于材料变化（逐列），10种材料也分为三组：各向同性组包含漫射和适度镜面材料- P OM，P P，N YLON，P VC，A BS和B AKELITE ;各向异性组包含具有各向异性反射率的金属材料- A L，C U和S TEEL ;半透明组包含半透明材料- A TELLIC。最左边的一列显示了由BAKELITE在自然照明下拍摄的物体（以及略微倾斜的视点），以提供直观的参考（不用于计算）。最右边的一列显示了(CNC)机械加工工艺，以确保不同材料的形状一致性。这样，我们就可以控制从简单到复杂的形状变化，以及不同难度的材料变化，从而实现摄影立体测量。用于制造这些物体的CAD模型被配准到图像坐标，用于校准“地面实况”表面法线图。据我们所知，DiLiGenT102是迄今为止最大的真实世界照片度量立体基准数据集。我们应用DiLiGenT102数据集对最新的光度立体方法进行全面的基准评估，特别关注基于学习的解决方案。DiLiGenT102具有大尺寸和可控形状和材料变化，提供了一个有洞察力的比较，以明确揭示在基于学习的时代光度立体方法解决方案占主导地位。总之，本文提供了最大的真实世界光度立体基准数据集，具有以下新特征：• 10比DiLiGenT数据集更大的规模[37];• 形状可控（高精度CAD模型作为• 最新的基准评估结果（最全面的一个学习为基础的方法，到现在为止）提出的形状材料的错误矩阵的灵感，未来的工作。2. 相关工作2.1. 光度立体方法[37]中全面讨论和评估了代表性的基于非学习的光度立体方法（直到2016年）。尽管在[ 37 ]的调查之后提出了基于非学习的方法，例如，，一般反射率的假设和测试搜索解决方案[16]，不准确的补丁式解决方案12583在自然光照下的光度立体[18]，大多数最近的光度立体方法采用深度学习，因此我们专注于审查使用新数据集评估的基于学习的解决方案。非典型的光度立体图像捕获设置，例如多视图光度立体[30]和多光谱光度立体[19，24，26]超出了范围。我们遵循Shi等人提出的分类。 [36]和Zheng等人[51]，其将基于学习的方法分为全像素和每像素分支。全像素方法专注于通过聚合来自不同图像的全局特征来估计法线[13]，而每像素方法以强度分布[35]或观测图[21]的形式获取输入，并专注于反射特性的建模（例如，各向同性[50]）或全局照明效应[21，29]。近年来，在基于学习的摄影立体视觉中，反射率和形状的联合建模受到越来越多的关注。GPS-Net [49]采用基于图形的特征提取来模拟局部反射率，同时利用基于CNN的回归网络来探索全局形状信息，以平衡全像素和每像素解决方案之间的优势。PX-NET [31]增强了观察图，允许网络学习全局渲染效果。引入注意力加权损失来处理具有精细结构的区域[25]，并引入考虑观察图像和重建图像之间一致性的双回归来形成提供额外监督的闭环[23]。深度学习也被证明对未校准的光度立体有效。SDPS-Net [11]及其扩展[12，14]利用照明估计网络首先校准定向照明强度和方向，然后将其馈送到正常估计网络中。Kaya等人 [28]提出了一种未校准的神经逆绘制方法来估计图像的照明方向，并通过优化图像重建损失来计算表面法线。从上述调查中，我们可以告诉，建模不同材料的反射特性仍然发挥着重要作用，使光度立体准确的复杂形状。具有受控形状和材料变化的数据集能够解耦形状和材料2.2. 光度立体数据集为了驱动基于学习的摄影立体方法的建模过程，已经提出了各种合成和真实世界的数据集。合成数据集是通过前向渲染光度图像形成模型来创建的，即，，将BRDF模型应用于3D形状（自然地提供地面真实法线）并在变化的方向照明下生成图像第一种深度摄影立体方法[35]采用10个斑点形状[22]，并应用测量的MERL BRDF [32]来生成用于训练的大规模合成数据集。之后，将更复杂的扫描现实世界3D形状[45]和大规模形状数据集[10]与更可控的参数BRDF [7]相结合，以在后续工作中渲染训练数据集[13，14，21]。此外，还为文化遗产修复[15]，硬币测量[5]和全景相机[8，9]创建了合成光度这些数据带有真正准确的定向照明和表面法线贴图，并且大规模创建它们非常便宜，这极大地促进了基于学习的然而，合成数据集永远无法忠实地模拟真实世界材料的复杂反射率及其在真实成像管道中与形状的相互作用。真实世界的数据集总是必要的，以评估光度立体方法是否有效地在实践中的行为一些作者发布了他们在评估自己的方法时捕获的真实世界数据集。例如，Gourd Apple数据集[2]为具有一般各向同性BRDF但不提供参考法线贴图的对象提供高质量HDR图像，而Harvard数据集[48]包括具有漫反射和使用基于最小二乘的光度立体计算的参考法线贴图的几个对象 DiLiGenT [37]是第一个真正的数据集，专门设计用于在定向照明下对具有一般BRDF的对象进行光度立体测试;它利用高精度扫描仪测量目标物体的3D网格，并将其配准到光度图像以计算“地面实况”标准。之后，提出了各种数据集来评估光度立体方法的不同方面，例如多视图[ 30 ]，近场[ 33 ]，相互反射[ 28 ]，室外环境[1，20，27]、大规模3D反射[43]以及特定应用，如植物[4]和面部[6，44]。 这些数据集为定量评估光度立体方法提供了不同的形状和材料，然而，由于创建真实世界光度立体数据集的过程昂贵且费力（一般来说，需要具有高度精确的照明和几何校准的HDR图像），真实世界数据集的规模仍然有限，这可能导致网络过度拟合的结果，并阻碍基于学习的光度立体方法的评估和改进。此外，扫描的形状有时不能包括具有足够精细细节的物体的精细结构，以评估光度立体，如[37]中所讨论的。我们在表1中总结了代表性合成和真实光度立体数据集的属性。与现有数据集相比，12584×表1.光度学立体数据集的摘要（按比例排序）。类型：真实世界或合成数据集。材料：受控（用精心挑选的材料制作）或非受控（从日常物品中随机挑选）用于真实数据; BRDF模型用于合成数据。地面实况：来自CAD/扫描模型，配准（+Reg）、光度立体（PS）或合成形状（Mesh）。形状、灯光、视图和集合的数量（一个集合表示在用于计算的不同照明条件下的光度学立体图像序列数据集地面实况类型材料#形状#灯光浏览次数数量集DiLiGenT102（我们的）CAD+注册房控制101001100DiLiGenT-MV [30]扫描+注册房不受控59620100[33]第三十三话扫描+注册房不受控1452114[37]第三十七话扫描+注册房不受控1096110哈佛[48]PS房不受控72017[28]第二十八话扫描+注册房不受控326013葫芦苹果[2]–房不受控2102/11212[13]第十三话网格合成MERL8641,29659,292BlobbyPS [35]网格合成MERL8961800[21]第二十一话网格合成迪士尼151,280/1,000145DiLiGenT102已被证实。我们希望这样一个大规模的真实世界的光度立体数据集，具有不同的材料和复杂的形状在可控的变化，不仅增加了真实世界的光度立体数据集的规模，但也启发了未来的学习为基础的方法，通过一个更系统的基准评估的发展。3. DiLiGen 102数据集DiLiGenT102数据集包含100个对象（集），其中包括10个渐变形状和10个精心挑选的材料。每组提供100个观察到的图像下不同校准的光方向和相应的1.一、DiLiGenT102中的物体组成了一个1010的形状-材料矩阵.沿着形状维度，有10个形状从简单到复杂变化，具有不同的曲率和结构，以提供丰富的多尺度特征，从而产生不同的阴影，阴影，互反射效果。沿着材料维度，有10种材料从漫射或适度镜面塑料变为高度镜面金属，甚至是复杂的半透明表面，基于制造和日常生活的统计数据[3，41]，以涵盖广泛的一般BRDF，这些BRDF对于评估光度立体方法具有区别性。3.1. 产品和材料DiLiGenT102数据集中的球从简单的球到一般的兔子（请逐行查看图1），分为三组。• 球体组：该组包括BALL及其3种变体，包括具有不同局部细节水平的光滑表面。BALL代表最标准和最常用的形状，涵盖了所有方向的连续表面法线变化GOLF有多个凹坑，这可能会导致在许多局部区域产生轻微的互反射和阴影效果。S派克，高尔夫球的对应物，有许多凸锥，以提供局部形状和阴影的突然变化。NUT提供了两种类型的局部形状变化的峰和沟壑的形式，同时保持大部分表面光滑。• 多面体组：该组包含一组离散的多个方向面，以验证照片度量立体方法是否一致地预测具有不同方向的平面表面上的SQUARE包括4个矩形面和4个三角形面，以及顶部的主方形面。在我们的设计中，PENTAGON是一个典型的正多面体，有5个主面和5个次面。HEXAGON是一个类似足球的六边形形状，顶部有一个主六边形，6个侧面（3个五边形和3个六边形彼此分开）面向不同的方向;它还包含底部的9个半多边形（3个五边形和6个六边形），这些半多边形几乎垂直于底部;这些面对光度立体来说是具有挑战性的，因为它们在大多数灯光下都有严重的附加• 一般形状组：该组包含来自工业加工和日常生活的对象，提供具有适度复杂曲率和细节的自然表面。ROPELLER是一种常见的工业零件（用于航海、能源、灌溉等行业，在生产实施中其测量对表面质量有很强的要求），它具有多个曲面。涡轮机是汽轮发电机和航空发动机中常用的一种涡轮机，与罗佩勒涡轮机相比，涡轮机的叶片数较多，但曲面较少。BUNNY的灵感来自于著名的斯坦福兔子[42]，代表了一个常见的日常生活对象，具有不规则的几何变化。12585图2.用于构建DiLiGenT102数据集的照明和成像设置。建造一个笼子，用遮光布覆盖，作为暗室。摄像机安装在笼子的顶部。LED光源安装在双轴台上，目标物体放置在旋转中心。六个镜面反射球放置在目标对象周围以计算照明方向。DiLiGenT102数据集中的材料从简单（dif- fuse）到复杂（各向异性，半透明）反射率（请逐列查看图1），也分为三组。• 各向同性组：POM是一种具有代表性的结构塑料材料。PP、NYLON和PVC是日常生活中广泛使用的塑料/聚合物，例如主要用于餐饮、销售等行业的包装材料。BS是一种典型的工程塑料，通常用作家用电器和消费电子产品的外壳BAKELITE由木纤维和树脂制成，这是一种用于电气绝缘的流行材料。这些材料涵盖了从漫反射到适度镜面反射材料的巨大差异，这些材料大多是各向同性的。它们具有不同的粗糙度，与现有数据集中使用的材料相似。• 各向异性组：由铝AL，黄铜CU和铁STEEL制成的合金在我们的世界上广泛用于制造和建造各种类型的物体。我们选择这三种具有代表性的金属材料，因为它们也具有不同的BRDF。我们采用车削（对于BALL形状）和铣削（对于其他形状）来制造物体。值得注意的是，由工业加工过程引起的微结构使这些对象表现出强的各向异性反射率，这通常不包括在现有的真实光度立体数据集中。• 研究组：我们还包括一种半透明材料，它被用作光学塑料和玻璃的替代品，以挑战现有的光测立体 方法 （因 为 很少 有方 法 可以 模拟 次 表面 散射），并激发未来的研究。3.2. 照明和成像设置均匀的强度。在不同的照明条件下捕获光度立体图像的一种快速方便的方法是建立一个框架，将LED固定在一些预定义的位置[37]，并依次打开每个灯以照亮目标物体。但是这种方法引入了繁琐的强度校准过程，更不用说每个LED的时空不一致了。首先，每个LED的亮度在实践中通常是不同的，即使我们在同一生产批次购买它们。其次，LED的亮度随时间而下降，当瞬时打开/关闭时，它不能工作在稳定的状态。此外，预先固定的位置是不灵活的，并且由于遮挡，通常不容易将它们放置在赤道区域附近。，[37]中的灯光主要集中在所采用的矩形框架所限定的杆区。为了解决这些问题，我们设计了一种不同的照明设备，具有全向同心等距设计和单个光源，如图2的中间部分所示。同心设计确保光源位于“虚拟”半球表面上。两个旋转轴提供全方位的角分辨率，可以灵活地从任何方向照射目标。我们的设置免除了强度校准过程（并避免了相应的错误），以物理上确保均匀的照明强度。远距离照明近似。远光照明是目前光度立体视觉中应用最广泛的一种照明方式.以前的数据集（如[37]）通过将光源放置在距离目标物体很远的位置来近似这种假设然而，由于数据捕获环境的大小限制，照明距离很难足够远。为了更好地满足远距离照明12586××图3.双轴照明系统的图示。它具有两个自由度，可以在半球上的任何位置移动光线，同时保持与中心的恒定距离，以投射均匀的照明强度。在光源的前面放置一个凸透镜以提供平行照明。假设，我们在LED前面放置一个聚焦透镜，以会聚更多的光并增加强度，以实现更好的SNR，如图所示。3 .第三章。图像捕获。由于使用双轴系统控制照明方向，因此我们需要同时捕获目标对象和照明校准对象的图像，LED光源始终放置在距离物体50cm处，并面向物体以投射均匀的照明强度。图像由大恒影像MER-503- 36U3 C相机拍摄，镜头为50 mm，原始分辨率为24482048年中心区域被裁剪到1001 - 1001分辨率作为用于照片度量立体计算的图像。所有对象的直径为5厘米的基础上，并放置约1.5米的摄像机下，以近似正交投影假设。根据每种材料的不同反射率，我们调整相机曝光时间在1ms到4ms的范围内，以避免饱和。相机具有线性辐射响应，并存储PNG图像（未压缩）。照明方向校准。我们开始捕捉过程时，LED预热和亮度变得稳定。我们手动控制双轴照明系统，以获得半球上的密集（超过300）采样为了获得近似均匀的照明方向分布，以一致地评估所有对象，我们采用斐波那契球体采样方法[17]，如图所示4.第一章具体来说，我们首先利用这种方法来生成100均匀分布的样本位置上的半球，然后我们搜索最近的方向为每个校准的照明方向的基础上的余弦距离。该重新采样过程选择最接近均匀分布的100个照明方向（从密集图4.照明方向的统一重新采样过程。使用与[ 37 ]相同的方式进行照明方向校准，即根据反射定律4，通过将镜面点的坐标（照明方向）、视点和该点的表面法线相关联。经过illuminating，捕获，并校准每个对象的照明方向，我们得到100组对象在100个不同的照明条件下。3.3. 校准法线贴图以前的数据集[33，37]使用3D扫描仪首先获取对象的形状，将扫描的形状与图像对齐，最后将表面法线图渲染为 这种方法的准确性可能依赖于扫描仪的精度。此外，有些金属物体很难扫描，使用油漆涂层可能会改变原始物体的形状因此，我们选择将精确的CAD模型渲染为我们首先利用CNC制造基于其相应的CAD模型的对象。先进CNC的加工误差可以控制在10µm左右，比我们的相机系统的测量误差要小。此外，CNC程序的重复性保证了不同材料的物体的一致性，特别是对于那些难以甚至不可能扫描的物体。为了将CAD模型与捕获的图像对齐，我们采用与[37]相同的操作步骤（有关详细信息，请参阅其原始论文和发布的工具箱）。现在，我们有了一套完整的光度立体图像，其中包含照明方向（强度固定为1）和法线贴图已校准，可用于基准评估。4. 基准测试结果本节介绍了使用DiLiGenT102数据集的光度立体方法的最新基准测试结果。基于[37]中报告的非基于学习的方法的基准结果，我们只重新评估那些已经测试过的代表性方法4详细情况见补充材料。12587≥球高尔夫403020100销钉螺母403020100方形五边形403020100六角螺旋桨4030201004.1. 所有方法在图5中，我们显示了所有方法的形状-材料误差图。每个子图都是关于固定形状的结果，并显示了所有评估方法的误差如何随材料而变化（暖色表示非学习方法，冷色表示基于学习的方法）。对于球体组，即、BALL、GOLF、SPIKE、NUT，误差从左到右递增的趋势相当明显。BALL是最简单的情况下，由于其平滑度，而NUT是具有挑战性的，由于不同类型的细节表面。这组形状通常是凸形的，其中包含很少的区域，导致投影和相互反射，因此材料类型（反射率属性）的变化在影响结果中起着关键作用。基于学习的方法通常优于非基于学习的方法。但是，当它们的反射率假设（例如各向同性约束）对于某些材料（例如POM和NYLON对于BALL和NUT）很好地满足时，基于非学习的方法优于基于学习的方法。对于多面体群，即、S方形、P三角形，涡轮403020100兔子HEXAGON，误差的增加趋势不太明显，因为该形状组包含较少的涉及复杂反射现象的正常变化，使得由不同材料引起的变化似乎比球体组的情况施加更小的权重。总体误差大于球体组，这可能是由于一些几乎垂直于基底的面导致了强烈的附加阴影，如PENTAGON和HEXAGON的轮廓区域。有趣的是，对于各向异性图5.所有方法的形状（每个子图）-材料（X轴）误差（Y轴）图。最好在彩色和电子版本中查看放大的细节。（基于最小二乘的朗伯方法，LS），LS与位置阈值[37]（TH28和TH46指的是使用阈值为[20%，80%]和[40%，60%]），WG10 [47]（代表代表性离群值拒绝方法），ST 14 [38]（最佳-执行[37]中报告的一般反射率方法）和PF 14 [34]（[37]中报告的性能最佳的未校准方法对于基于学习的方法，我们选择评估PS-FCN [13]，CNN-PS [21]，IRPS[40]，SDPS-Net [11]、SPLINE-Net [50]和GPS-Net [49]，这些数据在过去三年内发表在CVPR/ICCV/ECCV/ICML/NeurIPS上。对于非基于学习的方法，我们使用作者和具有挑战性的组，这里的误差低于球体组，并且一些基于非学习的方法表现最好。对 于一 般 形状 组 ， 即， PROPELLER， TUR-BINE ，BUNNY，误差也随材料而波动。PROPELLER的误差类似于多面体组的误差，但TURBINE对大多数方法造成困难，因为它包含更接近的叶片，引入强烈的相互反射和投射阴影（特别是当灯光靠近赤道时）。BUNNY对于许多方法来说似乎是相对更容易的形状，部分原因是其凸形5。作为非学习和基于学习的方法之间的比较，前一组显示具有强相关性（相似形状）的误差图，这是由于它们对反射特性的相似依赖性，而后一组显示弱相关性，因为基于学习的方法具有不同的策略来预测表面法线。方法，因为他们都没有前面。我们采用最广泛使用的平均角度误差（在每个集合中的所有有效像素）作为误差度量。对于角度误差90°，将其截断为90°，以便于可视化。5BUNNY对于各向异性和具有挑战性的材料显示出较低误差的另一个原因是因为其铣削加工过程是最复杂的（因为其形状比其他形状包含更多不同的曲率），这需要更多的“雕刻”并引入更多的表面微结构，从而减弱各向异性效应和透明度。LS公司简介ST14PSFCNIRPs服务点公司简介WG10PF14CNY样条GPSPOMPP尼龙PVCABS胶木AlCu钢丙烯酸POMPP尼龙PVCABS胶木AlCu钢丙烯酸12588一般事务（18.13/16.27）球9.6 8.6 12 9.7 12 8.9 11 16 16 23高尔夫16 11 17 9 15 11 16 15 16 2313 11 15 11 12 11 15 13螺母20 15 21 14 18 14 16 17 17 2218 12 20 11 18 11 12 11 17 16五角大楼23 15 23 15 22 17 20 23 1719 13 20 12 18 14 16 15 20 19螺旋桨26 19 28 16 24 18 22 19 14涡轮机40 29 40 27 38 32 33 31 33 2922 14 24 13 21 15 17TH28（19.66/16.84）5.3 11 6.8 12 8.7 9.5 18 27 28 3814 11 15 9.1 14 11 16 18 359.7 11 11 16 9.9 11 22 18 2718 14 19 13 16 14 18 18 19 2818 12 20 11 18 12 15 9.6 16 2824 15 24 14 22 17 15 15 15 2519 13 20 11 17 13 15 13 15 3129 22 33 20 27 21 22 23 21 1643 35 44 34 42 37 36 34 35 3223 14 26 13 22 15 15 15 15 16TH46（18.82/16.18）3.1 9 3.6 6.4 6.2 6.3 21 37 40 4113 8.8 14 7.3 13 9.6 15 16 21 3610 7.9 10 6.9 9 8.1 16 11 3017 10 17 7.7 14 11 14 1519 13 21 10 19 13 16 10 20 3024 13 25 11 21 14 16 14 21 2717 9.4 19716 8.6 13 9.8 1527 20 33 18 26 20 21 20 20 1743 33 45 31 42 36 34 31 31 3322 14 25 11 21 14 16 14 14 18第十工作组（19.14/17.96）12 8.8 14 3.6 14 11 11 1618 11 19 8.3 16 13 16 17 2715 8.5 17 10 14 12 16 1520 14 20 9.4 18 18 18 22 21 2418 15 20 9.8 18 14 15 13 21 2722 19 23 17 22 19 21 21 24 1519 11 20 13 18 14 18 18 21 2126 21 29 18 25 20 22 21 21 1340 33 41 28 39 33 33 31 32 3021 14 23 12 20 15 14 16 15 15ST 14（18.34/17.29）6.4 8.5 7.8 10 9.6 9.1 13 19 18 2314 10 15 8.7 14 11 19 1711 9.9 12 11 11 18 15 19 3119 15 20 13 16 14 17 18 18 2318 12 20 9.3 17 10 13 19 1624 14 24 13 22 16 22 22 26 1819 12 20 11 17 13 17 16 21 2027 19 31 16 26 17 23 20 20 1542 30 42 27 39 32 33 31 32 2923 13 25 12 22 14 17 15 15 17PF14（30.63/24.89）4540353025PSFCN（16.21/15.10）球13 4.3 12 8.6 11 5.3 19 17 21 24高尔夫15 9.7 15 8.7 12 9 16 12 15 27SPIKE14 10 11 7.3 9.9 8.9 22 10 22 31螺母19 12 21 10 17 9.8 20 15 17 2419 14 20 13 18 10 19 9 11 1921 11 22 13 19 13 17 13 17六角19 11 19 11 17 9.5 21 14 20 22螺旋桨24 13 28 11 18 12 12 9.9 9.9 14涡轮机37 19 38 17 34 25 23 23 28BUNNY19 9. 9 21 9. 1 17 11 12 8. 8 10 14中国（15.78/13.99）5.1 6.4 4.2 4.5 6.9 7.3 16 14 16 1914812 6.8 14 9.4 12 9.2 1311 9.4 11 11 12 9.5 14 8.3 16 2820 8.8 19 6.9 17 8 16 13 14 2221 8.1 22 6.7 19 8.1 1326 9.5 26 9.8 22 9.6 15 13 15 2318 7.5 19 7.2 17 28 18 10 17 2128 12 35 8.4 23 11 16 9.6 9.8 1754 20 51 16 39 21 25 22 21 3224 11 27 7.8 21 9.1 12 7.7 12 14IRPS（17.10/13.22）花键（16.42/15.08）11 8.3 8.1 11 9 10 18 16 1714 13 15 1111 17 14 15 2915 14 11 11 10 15 9.7 16 3319 11 13 8.8 15 9.8 19 16 16 2618 14 21 12 20 8.6 14 11 11 2122 11 23 12 18 11 19 15 18 2517 11 17 9 17 11 20 15 17 2520 13 26 9.4 19 13 17 13 14 1638 19 40 14 34 21 27 26 26 3318 11 19 9.4 18 11 15 9.6 11 1715SDPS（21.86/18.92）20151050图6.每种方法的形状-材料误差矩阵（平均值/中位数）。最好在彩色和电子版本中查看放大的细节。4.2. 每种方法的形状-材料误差矩阵在图6中，我们显示了每种评估方法的形状-材料误差矩阵（热图）。矩阵的每个元素中的数字表示根据形状和材料指数的平均角度误差。这种矩阵描绘了二维空间中每个光度立体方法的这种类型的可视化永远无法得到其他真实数据集的支持，如果没有像我们这样的受控形状和每个矩阵的左上角是大多数方法的“安全区”，因为它 们 包 含 具 有 各 向 同 性 反 射率 的 平 滑 形 状 。 在 TURBINE的行和A URBLIC的列中还有两条在所有基于非学习的方法中，TH46 [37]显示出最低的中值误差。这种稳定性可能来自于其简单的计算方式，当各向同性组中的材料存在主导朗伯分量时，这是特别有效的，但是对于低频非朗伯材料（例如，，ABS）ST 14 [38]产生更好的结果。但是，与基于学习的方法（如PSFCN [13]或CNSCAN [21]）相比，其对高规格BRDF的建模能力不太有效。作为校准和未校准方法之间的比较，前一组通常比后一组具有更小的误差，特别是对于非基于学习的方法。这意味着未校准的光度立体仍然比校准的更具挑战性。但是深度学习在抑制未知照明条件的错误方面有很大帮助（SPDS [11] vs. PF 14 [34]）。5. 开放式问题讨论最后，我们通过讨论DiLiGenT 10-2数据集的基准测试结果所揭示的开放性问题来总结本文DiLiGenT10 2数据集展示的一个有趣现象是，增加材料复杂性（如各向异性）会给正常估计带来更少（比预期的）失真，除非反射率偏离BRDF可以描述的（半透明材料），而正常估计的挑战更强烈地与全局照明效应有关，如投射阴影和内部反射（例如，，TURBINE）。具有粗糙表面的材料（例如、POM和ABS）对于基于学习的方法来说可能比高度镜面反射的更具有挑战性，这是由于现有的训练数据集覆盖的关于这种BRDF的较少学习一个有效的光度立体解决方案需要注意全局照明，平衡的形状分布，和看不见的材料类型。DiLiGenT102数据集的局限性之一是我们仍然不能从“地面实况”正常中删除引号开发具有真实地面法线的光度立体数据集仍然是一个悬而未决的问题。确认本工作得到国家自然科学基金项目资助，项目编号 ： 62136001 、 62088102 、 61872012 、 61925603 、61972119、52175477。作者要感谢Jinfa Yang、Bohan Yu和Xi Wang提供的技术支持，以及openbayes.com提供的计算资源。11 17 27 12 11 30 63 72 67 6515 12 16 11 15 14 19 17 18 2511 11 41 10 12 10 18 14 17 3021 16 22 15 19 18 29 26 21 7026 24 20 18 18 16 41 21 81 7225 20 25 22 25 22 74 32 59 6019 16 21 16 18 19 82 21 73 7133 25 36 24 33 25 30 27 30 6244 34 46 32 45 40 37 36 36 7926 18 31 19 27 20 36 23 29 53全球定位系统（19.98/19.49）24 9.3 25 8.5 21 17 16 18 2824 23 22 22 22 20 16 14 15 2626 25 13 7.5 13 23 19 13 1826 23 28 20 26 18 18 15 17 2624 20 25 20 23 16 17 14 11 2126 18 27 18 23 14 13 13 15 2326 22 25 19 26 11 19 17 18 2622 17 24 15 23 13 13 12 11 1734 27 36 27 35 30 27 25 26 2919 13 21 14 19 14 12 11 11 173.5 4.1 7.8 3.7 7 5.8 10 12 12 4413 9.3 15 7 13 11 13 4310 7.6 11 7.5 10 9.2 10 12 4619 9.7 20 7.4 17 12 13 1319 10 19 7 19 12 9.8 8.9 12 2124 12 24 10 24 15 14 16 19 3219 9.7 20 7.5 18 12 12 11 1728 13 27 9.5 25 14 20 15 16 1943 25 37 20 44 30 32 29 31 3224 11 23 9.8 21 13 13 12 13 164.4 2.1 4.6 4.5 3.2 4.3 15 20 22 4211 6.8 12 5.4 11 8.9913 4310 10 8.5 11 10 22 9.1 22 4818 11 21 9.5 18 11 31 28 27 4720 12 22 14 18 12 22 13 24 5025 19 26 16 25 17 34 43 36 6318 9.8 19 7.6 16 12 35 21 33 5833 16 34 14 35 18 25 18 24 3243 23 46 18 44 27 32 26 25 3829 18 29 17 28 18 28 16 23 33POMPP尼龙PVCABS胶木Al铜钢亚克力POMPP尼龙PVCABS胶木Al铜钢亚克力POMPP尼龙PVCABS胶木Al铜钢亚克力POMPP尼龙PVCABS胶木Al铜钢亚克力POMPP尼龙PVCABS胶木Al铜钢亚克力POMPP尼龙PVCABS胶木Al铜钢亚克力平均角度误差（度）12589引用[1] Jens Ackermann，Fabian Langguth，Simon Fuhrmann，and Michael Goesele.户外网络摄像头的光度立体声。在Proc. CVPR，2012。3[2] 尼尔·奥尔德林，托德·齐克勒，大卫·克里格曼。具有非参 数 和 空 间 变 化 的 反 射 率 的 照 相 测 量 立 体 。 在Proc.CVPR，2008年。三、四[3] 安东尼·L·安德拉迪和迈克·A·尼尔。塑料的应用和社会效 益 。 Philosophical Transactions of the Royal SocietyB：Biological S