数据驱动光度立体方法综述及性能评估

引文：郑钱，石博新，潘刚。数据驱动光度立体方法研究综述。虚拟现实智能硬件，2020，2（3）：213-221DOI：10.1016/j.vrih.2020.03.001虚拟现实智能硬件2020年12月第3·回顾·数据驱动光度立体方法QianZHENG1，BoxinSHI2*，GanggPAN31. 新加坡南洋理工大学电气与电子工程学院2. 北京大学计算机科学系视频技术国家工程实验室，北京1008713. 浙江大学计算机科学与技术学院CAD CG国家重点实验室，浙江杭州310058*通讯作者，shiboxin@pku.edu.cn投稿时间：2020年2月18日修订日期：2020年3月14日接受日期：2020年3月18日摘要背景光度立体方法旨在恢复在不同光方向下观察到的3D物体的表面法线。这是一个定义不清的问题，因为表面的一般反射特性是未知的。方法本文回顾了现有的数据驱动的方法，重点是他们的技术见解的光度立体问题。我们将这些方法分为两类，每像素和全像素，根据他们如何处理图像。我们从输入、网络和数据的角度讨论了这些方法之间的差异和关系，这些是设计深度学习方法的关键因素。结果我们使用一个流行的基准数据集展示了模型的性能。 结论数据驱动的光度立体方法显示出比传统方法更优越的性能优势。然而，这些方法受到各种限制，如有限的泛化能力。最后，本研究提出未来研究的方向。关键词光度立体;数据驱动方法;非朗伯反射率1引言现代3D计算机立体视觉方法，包括几何（例如，，双目[1]和多视图立体[2]）和光度测量方法[3]已经从一组图像产生了忠实的3D重建。 光度测量方法能够以高分辨率再现表面的精细细节，以实现高度准确的3D形状重建[4]。尽管在计算机视觉中有着悠久的历史[3]，但由于真实世界物体的未知反射率和全局照明效应[5]，光度立体（PS）仍然是一个具有根本挑战性的研究问题。传统方法通过使用双向反射分布函数（BRDF）（例如，G. ，分析[6]或经验[7]BRDF表示），并将全局照明效应视为离群值（例如，例如，在一个实施例中，稀疏贝叶斯学习[8]）。然而，这种手工制作的反射率模型通常仅对有限类别的反射率有效[9]。受深度神经网络用于各种计算机视觉任务的强大建模能力的启发（例如，例如，在一个实施例中，光估计[10]，立体视觉[1]），研究人员已经研究开发实用的反射率2096-5796/©版权所有2020北京中科学报出版有限公司Elsevier B. V.代表KeAi Communization Co. Ltd.提供的出版服务。这是CC BY-NC-ND许可证下的开放获取文章（http：//creativecommons.org/licenses/by/4.0/）。www.vr-ih.com虚拟现实智能硬件2020年12月第3模型通过数据驱动的方法来解决光度立体的问题。DPSN（Deep Photometric Stereo Network）[9]是第一个使用深度学习技术解决非朗伯反射的尝试。这种方法要求测试探针与训练数据共享相同的预定义光方向集，这限制了其推广。因此，必须重新训练新模型以测试具有不同照明条件的数据。CNN-PS（基于卷积神经网络的光度立体）[11]，PS-FCN（使用全卷积网络的光度立体）[12]和IRPS（用于一般反射光度立体的神经逆渲染）[13]放松了这一约束，以便可以测试具有顺序不可知光方向的数据。LMPS（Learning to Minify Photometric Stereo）[14]和SPLINE-Net（Sparse Photometric Stereothrough Lighting Interpolation and Normal Estimation）[15]进一步考虑了少量的照明条件，这有助于降低数据捕获过程的复杂性。SDPS（自校准深度光度立体）[16]假设未校准的照明并实现最先进的性能。此外，Outdoor-PS（单日户外光度立体）[17]将数据驱动的光度立体方法应用于户外场景（即，部分多云或晴天）。本文回顾了最近八次尝试使用数据驱动的方法来解决光度立体的问题，基于我们的教程1和课程2在最新的会议。对于基于非学习的光度立体方法的全面讨论，我们请读者参考调查论文[5，18，19]。2数据驱动的光度立体方法最近的调查论文[5]根据所采用的反射率模型将传统的非朗伯光度立体方法分为基于离群值拒绝的方法[8，20]、基于解析BRDF建模的方法[6]和基于经验BRDF建模的方法[7，21，22]。根据它们如何处理输入图像，这些方法也可以分为逐像素[6- 8，21，22]或全像素[20]。e. 使用单个像素或整个图像的观测强度。我们遵循这个简单的策略，将数据驱动的方法分为每像素[9，11，14，15]和全像素方法[12，13，16，17]。图1显示了每像素[9]和全像素方法[12]的框架。除了输入和网络之外，图1还展示了数据驱动方法使用的训练数据集[9]和测试数据集[5]数据驱动的光度立体方法旨在优化神经网络函数，使得N=，其中输入I可以是特定像素的L个观察强度或在L个光方向3下的L个观察图像。输出表面法线N相应地由具有与输入图像相同的分辨率的3维向量或映射表示，并且通过训练数据集来优化f矢量的下面的讨论尽可能避免数学符号，并集中在输入，网络和数据方面的见解。2.1输入每像素方法[9，11，14，15]将观察到的强度作为输入并输出单个像素的表面法线，而全像素方法[12，13，16，17]直接将观察到的图像或补丁（多像素）作为输入并输出具有与输入相同分辨率的表面法线图。这种差异表明，每像素方法的目的是为每个像素拟合准确的反射率模型，而全像素方法的重点是从各种外观中提取准确的表面法线图。2.1.1每像素 观察 作为 一个 强度轮廓强度分布是L维向量，其通过以下指数对观察到的强度中的元素进行排序：1ICIP 2019展会信息电子邮件地址 ：www.dropbox.com/s/bhf2yk71z1q3pei/ICIP2019Tutorial_P3R.pdf? dl=02SIGGRAPH Asia 2019课程。https://sa2019.siggraph.org/attend/courses/session/23/details/283我们使用L来表示输入图像的数量。214Qian ZhENG等：数据驱动光度立体方法图1每像素和全像素方法的框架（左），训练数据集[9]和测试数据集[5]的示例（右）。灯光方向由于在网络训练期间没有完全使用关于光方向的信息，因此使用该输入的方法（即，DPSN[9]）假设测试数据和训练数据中的光方向相同。这种强假设限制了泛化，这意味着当光照条件不同时，必须重新训练新模型来测试数据。2.1.2每像素 观察 作为 一个 观测图已经提出了观测图[11]来克服上述缺点（图2）。它通过将光方向直接编码为2D坐标并相应地将观察强度投影到2D空间上来根据光方向重新排列观察强度。CNN-PS[11]，LMPS[14]和SPLINE-Net[15]采用这种数据结构来获取其神经网络的输入。由于完全保留了关于光方向的信息，CNN-PS[11]，LMPS[14]和SPLINE-Net[15]可以处理具有顺序不可知照明的输入。图2观测图的图解[11]。左：不同的数字代表不同的像素，不同的颜色表示不同的光线方向。右：观察图上的像素的2D坐标（表示输入图像中的强度）通过将光方向从3D空间（半球）投影到平面来确定。2.1.3全像素 观察 使用 的 整个图像Outdoor-PS[17]的输入由L16 × 16图像块组成。这些补丁是根据一天中的时间戳排序的（在不同的时间戳中可以观察到不同的光线方向）。因此，在网络训练和Outdoor-PS [17]期间没有充分使用灯光方向。 患有类似215虚拟现实智能硬件2020年12月第3如DPSN[9]的限制，即，当照明条件不同时，必须重新训练新模型以测试数据。2.1.4全像素 观察 使用补丁其他全像素方法使用L个完整图像[16]及其相应的光方向[12，13]作为输入。为了测试具有顺序不可知照明的数据，这些方法要么利用共享权重方案[12，16]，要么采用无监督方式[13]。除了经典的光度立体外，多光谱光度立体的一些最新进展也使用了全像素方法，例如，Mrssteiner等人。[23]使用整个图像作为输入，并通过U-Net[24]估计表面法线，Ju等人。[25]首先采用图像块来估计粗糙的表面法线图，然后使用逐像素方法对其进行细化。多光谱光度立体涉及经典光度立体中不存在的两个额外挑战[3]：光谱分解带来的模糊性和极少量的观测（即，例如，经常3）。因此，以下讨论集中在不依赖于光谱约束的光度立体。2.2网络我们在本节中描述这些数据驱动的光度立体方法的总体架构和具体设计。更多详情请参考相关文献[9，11- 17]。2.2.1总体架构除了DPSN[9]，它利用了经典的深度神经网络（DNN）架构（由输入层，隐藏层和输出层组成），其他数据驱动的方法都采用了卷积神经网络（CNN）架构。这是因为观测图和自然图像都具有空间连续性的特性（图2）。在每像素方法[9，11，14，15]中，利用DenseNet[23]的变体来生成三维表面法线，因为DenseNet[26]预计将加强特征传播并鼓励重用低维特征（即，例如，3)产出[26]。在全像素方法[12，13，16，17]中，使用了在不同模块之间共享权重的想法，因为这种设计受益于从多个观察中提取的特征（例如，G. ，图1中的PS-FCN[12]）或丰富从单个观察中提取的特征[13，16]。简单设置的架构（i. e. [2019 - 09 - 1900：19：00][2019 - 09 - 19 00：00][2019 - 09 - 19 00：00][2019 - 01] ，具有少量光方向的PS[15]，未知照明[16]，或以无监督的方式[13]）包含两个用于联合优化的子网络（例如，，SDPS[16]在图3中）。图3 SDPS的框架[16]，由照明校准网络和正常估计网络组成216Qian ZhENG等：数据驱动光度立体方法2.2.2特定设计尽管从训练数据中隐含地学习到线索，但数据驱动方法设计特定的模块或损失函数来提高光度立体的鲁棒性。每像素方法明确地利用一般的反射特性（即，e. 各向同性BRDF和全局照明效果），而全像素方法集中于在端到端方案中有效地将外观回归到形状。2.2.3各向同性BRDF在神经网络的训练过程中，对各向同性的考虑可以用来缩小解空间。CNN-PS[11]表明，观察图对表面法线是旋转伪不变的，基于此，额外的数据被增强用于训练（通过同时旋转观察图及其表面法线）。SPLINE-Net[15]进一步证明了理想的观测图（即，e. 没有全局照明效应）表现出对称模式，并提出了对称损失函数（图4）。图4观测图上的对称（对称）和非对称模式（对称模式）的图示（来自[15]）。红线代表对称轴。2.2.4全局照明效果考虑全局照明效果，如投射阴影和相互反射，有助于提供真实世界数据的鲁棒估计。为了模拟训练期间的阴影投射，DPSN[9]采用dropout操作，LMPS[14]通过要求某些强度为零来注释观察图。SPLINE-Net[15]表明，全局照明效应可以打破观察图的对称性（图4），并引入非对称损失函数。2.2.5End-to-end全像元方法从高层次上考虑了不同模块之间的信息传递。这些方法连接所有观察到的图像[13，16，17]和/或聚合所有特征（来自所有图像）[12，16]以提取形状信息，因为所有图像包含相同的表面法线映射。这些方法中的一些进一步从单个图像中提取反射率[13]（或照明[16]）和形状信息，因为反射率（或照明）信息由单个观察和形状共同确定。2.3数据由于室外PS方法[17]中使用的数据与室内方法中使用的数据完全不同，因此本节重点介绍室内PS方法中使用的训练和测试数据集。2.3.1训练数据集利用地表法线的地面真实值来获取大规模数据是困难因此，大多数4数据-4请注意，IRPS[13]不需要任何合成训练数据，因为它是一种无监督方法。217虚拟现实智能硬件2020年12月第3驱动光度立体方法合成用于训练的数据。表1详细介绍了在合成不同方法的训练数据时使用的形状、材料、灯光配置和渲染引擎。可以观察到，3D模型来自Blobby[27]或Sculpture Shape数据集[28]或互联网。表面材料近似使用MERL BRDF[29]或迪士尼的原则BSDF[30]。光的方向是固定的（与测试数据的方向相同）、均匀采样或随机采样。Mitsuba[31]或Cycles[32]（例如，，Outdoor-PS[17]）引擎用于渲染。表1还显示了每种方法使用的形状、材质、灯光方向和图像的数量。它表明，每像素方法[9，11，14，15]需要少量的形状模型（即，，小于15），而全像素方法[12，16]施加了大量的形状模型（即，例如，42K）。这一观察结果与第2.1节中的讨论一致，其中解释了每像素方法旨在为每个像素拟合精确的反射率模型，而全像素方法则专注于从各种外观中提取精确的表面法线图。表1关于不同数据驱动光度立体方法形状（数量）材料（数量）灯（数量）图像（编号）DPSN[9][27]第二十七话：[29]第二十九话固定（96）[第31话][15]第十一届中国国际石油天然气工业展览会互联网（15）迪士尼[30]（~15000）制服（1300）[32]第三十二话LMPS[14]PS-FCN[12]、SDPS[16][27]第二十七话：[28]第二十八话：我的世界[29]第二十九话[16]第十六话随机（144）随机（64）[31]（10368）三叶（Mitsuba）[31]（~5.4M）2.3.2测试数据集DiLiGenT数据集[5]是用于评估的最广泛使用的真实世界数据集。它由10个不同的物体组成，具有不同的非朗伯反射率（图1）。每个物体都在96个不同的照明方向下照明和拍摄。还提供了表面法线映射的地面实况。表2显示了这些数据驱动方法的定量结果以及实现最先进性能的传统光度立体方法ST 14[22]。请注意，这些方法的输入是完全不同的，即。e. ，DPSN[9]，CNN-PS[11]，PS-FCN[12]，IRPS[13]，ST 14[22]采用96张具有已知光方向的图像作为输入，SPLINE-Net[15]采用10张随机图像，LMPS[14]采用10张最佳图像，SDPS[16]采用96张没有照明信息的图像。可以观察到，基于深度学习的方法（即，，DPSN[9]，CNN-PS[11]，PS-FCN[12]，IRPS[13]）在相同输入条件下，与传统方法相比，取得了更好的性能。此外，与传统方法相比，基于深度学习的方法在设置更困难时（即，，少量输入[14，15]或未校准的照明[16]）。5表2 DiLiGenT数据集上角度误差（度）的定量比较[5]，绿色到红色表示小到大的误差球熊佛猫牛杯状收获POT1Pot2阅读平均DPSN[9]2.06.312.76.58.011.316.97.07.915.59.4[11]第十一话2.24.17.94.68.07.314.05.46.012.67.2PS-FCN[12]2.87.67.96.27.38.615.97.17.313.38.4IRPS[13]1.55.810.45.46.311.522.66.17.811.08.8SPLINE-Net[15]5.06.010.07.58.810.419.18.811.816.110.4LMPS[14]4.08.711.46.710.210.517.37.39.714.410.0SDPS[16]2.86.99.08.18.511.917.48.17.514.99.5ST14[22]1.76.110.66.113.910.125.46.58.813.610.35请参考https://sites.google.com/site/photometricstereodata/single?authuser=0可获得传统方法的更多结果218Qian ZhENG等：数据驱动光度立体方法除了定量评价外，还使用GOUDRD APPLE[33]和Light Stage Data Gallery[34]等真实数据评价了视觉质量。此外，还有几个合成数据集可用于验证[9，11，12，15- 17]。这些合成数据通常使用用于训练数据的相同方法来渲染。3讨论尽管通过数据驱动方法实现了最先进的性能，但它们受到限制，例如昂贵的测试计算[13]，对全局照明效果的敏感性[11，15]，受约束的光方向[9，14，17]和均匀的材料表面[12，16，17]。这些方法及其局限性的简要总结见表3。可以看出，每像素的方法更注重一般的BRDF的建模，他们是强大的表面材料的非均匀分布，但是，他们执行与全局照明效果的区域，因为形状信息没有明确考虑最佳。全像素方法通常使用各种形状进行训练，每个形状都有统一的材料。因此，对于具有阴影或内部反射的区域，它们会生成准确的结果，而对于具有非均匀材质的对象，它们的准确性较差。基于以上讨论，我们提出了以下研究方向：表3数据驱动的光度立体方法[11]第十一届全国政协委员[13]第十三届中国国际纺织品展览会[16]第十二届全国政协委员户外-PS[17]方法每像素全像素输入强度图像建筑DNNCNNCNNCNNCNNCNN一般BRDF√√√√××××End-to-end××××√√√√限 制 约 束照明对全局照明效果的敏感度对全局照明效果的敏感度受约束的照明昂贵的计算统一的材料统一的材料约束照明均匀材料(1) 本研究展示了每像素和全像素方法的独特特性。相互结合这两种类型的方法，以进一步提高性能将提供另一个研究领域进行探索。(2) 朗伯反射率最近的一项工作[15]表明，基于深度学习的方法通常会对朗伯反射率产生不满意的结果，这些结果与基线方法[3]不可比较。因此，在数据驱动方法中应考虑与DiLiGenT[5]或MERL[29]不太相似的反射率，以避免过拟合。(3) 实用性由于数据驱动的方法在实验室环境中取得了令人鼓舞的性能，利用深度学习技术来解决约束更不足的场景中的光度立体问题（例如，，Outdoor-PS[17]）。引用1Kendall A，Martirosyan H，Dasgupta S，Henry P，Kennedy R，Bachrach A，Bry A.深度立体回归的几何和上下文的端到端学习。在：IEEE计算机视觉国际会议论文集。2017年，第66- 75页DOI：10.1109/ICCV.2017.172Furukawa Y，Ponce J.精确、密集和强大的多视图立体视觉。IEEE Transactions on Pattern Analysis and219虚拟现实智能硬件2020年12月第3机器智能，2010，32（8）：1362-1376 DOI：10.1109/tpami.2009.1613Woodham R J.从多个图像确定表面方向的光度法。光学工程，1980，19（1）：191139DOI：10.1117/12.79724794李文忠，李文忠.使用平面网格参数化的鲁棒多视图光度立体。IEEE Transactions on Pattern Analysis and MachineIntelligence，2017，39（8）：1591-1604 DOI：10.1109/tpami.2016.26089445Shi B X，Wu Z，Mo Z P，Duan D L，Yeung S K，Tan P. A benchmark dataset and evaluation for non-lambertian anduncalibrated photometric stereo. 2016年IEEE计算机视觉与模式识别会议（CVPR）拉斯维加斯，内华达州，美国，IEEE，2016DOI：10.1109/cvpr.2016.4036陈丽霞，郑永勤，石宝霞，苏帕-阿萨阿，佐藤一。具有一般各向同性反射率的光度立体视微面模型。IEEETransactions on Pattern Analysis and Machine Intelligence，2019 DOI：10.1109/tpami.2019.29279097池畑S，相泽K.一般各向同性表面使用约束二元回归的光度立体。2014年IEEE计算机视觉和模式识别会议。Columbus，OH，USA，IEEE，2014 DOI：10.1109/cvpr.2014.2808黄文忠，王晓平.使用稀疏回归的鲁棒光度立体。2012年IEEE计算机视觉与模式识别会议。Providence，RIIEEE，2012年DOI：10.1109/cvpr.2012.62476919孙文，李文.深度光度立体网络。2017 IEEE International Conference on Computer Vision Workshops（ICCVW）威尼斯，IEEE，2017DOI：10.1109/iccvw.2017.6610[10]杨文军，杨文军.快速空间变化的室内照明估计。2019年IEEE/ CVF计算机视觉和模式识别会议。LongBeach，CA，USA，IEEE，2019 DOI：10.1109/cvpr.2019.0070711池幡湾CNN-PS：基于CNN的一般非凸表面的光度立体//计算机视觉Cham：Springer International Publishing，2018，3DOI：10.1007/978-3-030-01267-0_112陈广宇，韩凯，黄启贤。PS-FCN：一个灵活的光度立体学习框架//计算机视觉ECCV 2018。Cham：Springer International Publishing，2018，3DOI：10.1007/978-3-030-01240-3_113Taniai T，Maehara T.一般反射光度立体的神经逆绘制。参加：国际机器学习会议。201814李剑侠，罗伯斯-凯利A，尤S D，松下Y。学习缩小光度立体。2019年IEEE/CVF计算机视觉和模式识别会议（CVPR）。Long Beach，CA，USA，IEEE，2019 DOI：10.1109/cvpr.2019.0077515郑清，贾玉明，石宝祥，姜晓东，段丽艳，郭甲。SPLINE-net：通过光照插值和法线估计网络实现稀疏光度立体。2019 IEEE/CVF计算机视觉国际会议（ICCV）韩国首尔，IEEE，2019DOI：10.1109/iccv.2019.0086416陈广宇，韩凯，石宝祥，松下英，黄启英.自校准深度光度立体网络。2019年IEEE/CVF计算机视觉和模式识别会议（CVPR）。Long Beach，CA，USA，IEEE，2019 DOI：10.1109/cvpr.2019.0089417放大图片作者：J. J.单日户外光度立体声。IEEE Transactions on Pattern Analysis and Machine Intelligence，2019DOI：10.1109/TPAMI.2019.296269318放大图片作者：J.光度立体技术综述计算机图形学的基础和趋势220Qian ZhENG等：数据驱动光度立体方法和愿景，2015，9（3/4）：149-254 DOI：10.1561/060000006519Herbort S，Wöhler C.介绍了基于图像的三维表面重建和光度立体方法的调查。三维研究，2011，2（3）：4DOI：10.1007/3dres.03（2011）420吴丽，甘内什A，史伯雄，松下Y，王永田，马耀.鲁棒的光度立体通过低秩矩阵完成和恢复//计算机视觉-ACCV2010。Berlin，Heidelberg：Springer Berlin Heidelberg，2011，703-717 DOI：10.1007/978-3-642-19318-7_5521郑清，库马尔A，石炳新，潘国.非朗伯光度立体的数值反射补偿。IEEE Transactions on Image Processing，2019，28（7）：3177DOI：10.1109/tip.2019.289496322施伯雄，谭P，松下Y，池内K.低频反射率的双多项式建模。IEEE Transactions on Pattern Analysis and MachineIntelligence，2014，36（6）：1078DOI：10.1109/tpami.2013.19623Jensteiner D，Stolc S，Soukup D.使用分裂U形CNN的单图像多光谱光度立体。在：IEEE计算机视觉和模式识别研讨会会议论文集。201924杨伟，王伟. U-net：Convolutional Networks for Biomedical Image Segmentation//Lecture Notes in Computer Science.Cham：Springer International Publishing，2015，234DOI：10.1007/978-3-319-24574-4_2825朱永坤，董晓华，王永永，齐玲，董建英.多光谱光度立体的双线索网络。模式识别，2020，100：107162DOI：10.1016/j.patcog.2019.107162（美国联邦快递公司）26黄G，刘Z，范德马滕L，温伯格K Q.密集连接的卷积网络。2017年IEEE计算机视觉和模式识别会议。檀香山，HI，IEEE，2017DOI：10.1109/cvpr.2017.24327放大图片作者：John M.自然光照下的形状估计。见：CVPR 2011。ColoradoSprings，CO，USA，IEEE，2011DOI：10.1109/cvpr.2011.599551028Wiles O，Zisserman A. SilNet：通过从轮廓学习进行单视图和多视图重建。在：2017年英国机器视觉会议论文集。英国伦敦，英国机器视觉协会，2017年DOI：10.5244/c.31.9929张文辉，张文辉，张文辉.数据驱动的反射率模型。在：ACM SIGGRAPH 2003论文- SIGGRAPH。加利福尼亚州圣地亚哥，美国纽约，ACM出版社，2003年DOI：10.1145/1201775.88234330Burley B，Studios W D.迪士尼基于物理的着色，是电影和游戏制作中基于物理的实用着色的一部分。在：ACMSIGGRAPH课程。201231Jakob，W.Mitsubarenderer，2010年32自行车. 电子邮件www.cycles-renderer.org/33作者：Aldrin N，Zickler T，Kriegman D.具有非参数和空间变化反射率的光度立体。2008年IEEE计算机视觉与模式识别会议。Anchorage，AK，USA，IEEE，2008 DOI：10.1109/cvpr.2008.458765634Einarsson P ， Chabert C F ， Jones A ， Ma W C ， Lamond B ， Hawkins T ， Bolas M ， Sylwan S ， Debevec P.Relighting human motion with flowed reflection fields.在：欧洲图形会议上渲染技术的会议记录，2006年，183- 194221