基于无监督深度高光提取的照明估计方法

基于无监督深度高光提取的易仁娇1、2，朱晨阳1、2，谭平1，林志颖31加拿大本拿比西蒙弗雷泽大学{renjiaoy，cza 68，平潭}@ sfu.ca2中国长沙国防科技大学3中国北京微软研究院stevelin@microsoft.com抽象。我们提出了一种方法，用于估计详细的场景照明，在一个单一的图像中使用人脸与以前的作品，估计照明的低阶基函数或遥远的点光源，我们的技术估计照明在一个更高的精度，在一个非参数化的环境地图的形式基于观察到人脸可以从广泛的照明方向上表现出强烈的高光反射，我们提出了一种用于从人脸中提取高光的深度神经网络，然后将这些反射追溯到场景以获取环境地图。由于用于高光提取的真实训练数据非常有限，我们引入了一种无监督的方案，用于在真实图像上微调网络，该方案基于在多个真实图像中看到的给定面部的一致漫射色度 在跟踪估计的亮点的环境中，我们减少了模糊效果的皮肤反射的反射光通过反卷积确定的先验知识的脸材料的属性。 与以前的技术的亮点提取和照明估计的比较显示了这种方法在各种室内和室外场景的最先进的性能。保留字：光照估计·无监督学习1介绍通过插入虚拟帽子，太阳镜或玩具来增加自拍的趣味性已经变得很容易使用Snapchat等移动增强现实（AR）应用程序[43]。但是，虽然移动AR的娱乐价值是显而易见的，但同样清楚的是，生成的结果通常远非现实。主要原因是虚拟对象通常不在与成像场景中相同的照明条件下渲染，这导致对象与其背景之间的外观不一致对于AR中的高真实感，因此有必要估计图像中的照明，然后使用该估计来渲染与其周围环境兼容的插入对象。从单个图像进行照明估计是一个具有挑战性的问题，因为照明与几何形状和反射率交织在一起，2R. Yi等人现场为了使这个问题更易于管理，大多数方法假设几何形状和/或反射率是已知的[18，19，27，30，32，36，37，48]。 这种知识在实践中通常是不存在的;然而，存在关于人脸的几何和反射特性的先验，其已经被用于照明估计[10，12，17，34]。面部在照片中是常见的，并且是许多移动AR应用的焦点先前关于基于面部的照明估计的工作考虑反射是漫射的并且仅估计环境照明的低频分量，因为漫反射充当反射照明的低通滤波器[32]。然而，低频照明估计通常不提供准确地描绘虚拟对象（尤其是具有闪亮表面的虚拟对象）所需的细节水平在解决这个问题时，我们考虑人脸和镜像球体之间的平行，其通常用作用于获取地面实况照明的照明探针 使镜面球体理想地用于照明恢复的是其在整个范围的已知球面上的完全尖锐的镜面反射。可以从摄像机的镜头或相对于周围环境进行拍摄，以获得完整的环境地图，该地图包括来自所有方向和所有频率的我们观察到，面孔在很大程度上具有这些有利的性质。由于皮肤中的油含量，它们在其表面上产生相当尖锐的镜面反射（高光）此外，面部覆盖广泛的表面法线，并且存在用于从单个图像恢复面部几何形状的各种方法[2，10，34，38，51]。与镜像球体不同，面的镜面反射不是完全清晰的，并且与漫反射混合在本文中，我们提出了一种方法来处理这些差异，以方便使用的面照明探头。我们首先提出了一个深度神经网络，用于将镜面高光与人脸图像中的漫反射分离开来。这项任务的主要挑战是缺乏用于网络训练的真实人脸图像的地面真实分离数据尽管可以使用图形模型[41]合成地生成地面实况分离，但已知真实数据和合成数据之间的失配我们通过使用合成图像预训练我们的网络来处理这个问题，然后使用真实照片的无监督策略对网络进行微调。由于在地面实况分离上几乎没有真实图像数据，因此我们替代地利用在不同图像之间的实际上基本上不变的差异值的预处理，除了由于不同的照明颜色和传感器属性而导致的全局颜色重新缩放之外从这个属性，我们表明，多个对齐的图像的同一张脸的漫射色度应形成一个低秩矩阵。我们利用这种低秩特征代替地面真实分离，使用从MS-celeb-1 M数据库下载的同一张脸的多张真实图像来微调网络这种无监督的微调显着提高了单独使用合成图像上的监督学习的亮点分离基于无监督深度高光提取的人脸光照探测3……带高光的渲染哑光效果图合成预训练（第4.1节）通过大规模名人数据集进行无监督微调（第4.2节）虚拟（定制低秩损耗）物体插入输入图像Highlight-Net（第4节）突出项目与环境（第5.1节）通过镜面反射波瓣去卷积（第5.2节）重新缩放照明颜色无高光图像微调反照率遮光网（第5.3节）Fig. 1.我们的方法概述。输入图像首先被分离成其高光层和漫射层。我们根据面部几何形状将高光反射追踪回场景，以恢复非参数环境贴图。通过本征分量分离[24]获得的漫射层利用所估计的环境图，可以将虚拟对象插入到具有一致照明的输入图像中。利用提取的镜面高光，我们然后恢复环境照明。这种恢复受到[32]中反射率的频域分析的启发，其结论是反射光是环境图的卷积版本。因此，我们通过镜面反射的去卷积来估计照明，其中去卷积核是根据面部材料属性的先验知识来确定的该方法使得能够恢复环境照明中的较高频率细节。该方法是通过实验比较，以前的技术，niques的亮点提取和照明估计进行验证在高光提取，我们的方法被证明产生的结果，更紧密地匹配地面真相获得交叉偏振。对于照明估计，更大的精度，锡获得了各种室内和室外场景。此外，我们还表明，局部点光源的3D位置可以使用这种方法来估计，通过三角测量的光源位置，从环境地图的多个面孔的图像。利用该3D照明信息，可以获得贯穿场景的空间变化照明恢复场景中的详细照明不仅有益于AR应用，而且通常可以促进场景理解。2相关工作高光提取涉及分离图像中的漫反射和镜面反射分量。这个问题最常见的解决方法是在色度[11，46，47，52]和空间[22，44，45]的帮助下去除高光。…4R. Yi等人在一些实施例中，图像处理器可以从相邻图像区域中提取漫射图像信息，并且然后从原始输入中减去所得到的漫射图像以获得高光分量。这些技术在可以处理的表面纹理类型方面受到限制，并且它们假设照明颜色是均匀的或已知的。在最近的工作[16]中，通过利用来自物理和统计面部先验的额外约束，避免了人脸的情况下的这些限制我们的工作也专注于人脸，但采用深度学习方法，而不是基于物理的解决方案来进行高光提取。虽然从物理模型开发的方法具有有形的基础，但它们可能无法解释影响图像外观的所有因素，并且分析模型通常仅提供自然机制的简化近似。在这项工作中，我们证明了直接从真实图像数据中学习可以带来更好的结果，这些结果还超过了对合成训练数据的深度学习[41]。照明估计通常从单个图像执行，因为这是基于单个图像的。在许多应用中唯一可用的输入。大多数单图像方法假设场景中的已知几何形状，并根据阴影[18，30，32，48]和阴影[18，26，27，36，37]估计照明。一些方法不需要预先知道几何形状，而是通过采用对象几何形状的先验[1，20，25，33]或通过拟合面部的形状模型[6，10，12，17，34]从图像中推断出此信息。我们的工作还利用统计人脸模型来获得几何信息的照明估计。照明环境可以是任意复杂的，并且几乎所有先前的作品都采用简化的参数表示作为实际的近似。早期的技术主要将照明估计为一小组远距离点光源[18，27，36，37，48]。最近，更密集的表现形式的低阶球谐函数[1，6，10，12，17，32，34]和Haar小波[26]。这些模型中的相对小数量的参数简化了优化，但是在估计的照明中提供了有限的精度。然而，由于漫反射的低通滤波效应[32]和扩展照明下阴影变化的可见性降低，更详细的照明表示可能无法从阴影和阴影中恢复。通过利用特定于某种类型的场景的照明模型已经获得了更高的精度对于室外环境，天空和太阳模型已用于准确恢复照明[3，9，13，14]。在与我们同时进行的研究中，使用在室内环境地图数据上训练的卷积神经网络来预测室内照明[5]。与我们的工作类似，它在深度学习的帮助下估计照明环境的非参数表示我们的方法的不同之处在于，它使用人脸来确定环境地图，并采用深度学习来恢复中间量，即高光反射，从中可以分析地解决照明。虽然我们的方法增加了图像中有人脸的要求，但它并不限于室内场景，它利用了关于照明环境的更直接的证据。我们后来表明，这种更直接的证据可以导致更高的精度，在环境地图的估计。基于无监督深度高光提取的人脸光照探测5高光反射已经与漫射阴影一起使用以联合地估计像素对比度和对象的反射率分布函数在这项工作中，先验的现实世界的反射率和照明被用作约束，以改善推理的优化为基础的方法。该方法采用具有已知几何形状、均匀颜色和有光泽表面的对象相比之下，我们的工作使用任意的面孔，这在自然场景中很常见。如稍后所示，基于优化的方法可以对由面部呈现的复杂性敏感，诸如表面纹理、不精确的几何估计和空间变化的反射率。我们的方法可靠地提取了照明估计的关键组成部分3概述如图1所示，我们训练了一个名为Highlight-Net的深度神经网络，以从人脸图像中提取高光分量。该网络分两个阶段进行训练。首先，使用合成数据进行预训练（第4.1节）。随后，网络以无监督的方式使用来自名人数据集的真实图像进行微调（第4.2节）。为了测试，网络获取输入图像并估计其高亮层。与重建的面部几何形状一起，提取的高光被用于通过追踪高光反射回到场景来获得初始环境图。由于表面反射率的带限效应，该初始图是模糊的[32]。为了减轻这种模糊，我们的方法使用从面部反射率统计确定的内核对环境图执行去卷积（第5节）。4面部高光去除4.1使用合成数据进行预训练对于Highlight-Net，我们采用了之前用于内在图像分解的网络结构[24]，这是一种相关的图像分离任务。为了预训练该网络，我们使用通用人脸模型[29]和从互联网收集的真实室内和室外HDR环境地图来数据准备详情使用合成地面真实镜面图像，我们最小化预测和地面真实高光之间的L2损失以用于预训练。4.2真实图像由于只对合成数据进行预训练，Highlight-Net在真实图像上的表现不佳。这可以归因于合成数据中的面部形状、纹理和环境图的有限变化，以及合成数据中的差距。6R. Yi等人减去高光网减去高光网416×416反照率3×1输入高光漫射层色度4输入突出 扩散层3×43×43×42×4低阶损失3×13×13×1漫射阴影3×1批量=4（一）（b）第（1）款图二. (a)优化Highlight-Net的网络结构（b）测试用于将输入面部图像分成三层的网络结构：高光、漫反射阴影和渐变。合成和真实人脸图像之间的外观。由于产生真实地面实况高光分离数据的大 规模集合是 不切实际的 ，因此我们 提出了一种 用于微调Highlight-Net的无监督策略，该策略仅需要在不同照明环境下的真实面部图像。该策略基于以下观察：给定像素的面上的漫射色度必须在不同的图像中进行调整，消除不良变化，因为像素的面必须相同在相同面部的图像之间，漫射色度图应该仅通过由照明颜色和传感器属性确定的全局缩放因子来区分，我们在预处理步骤中对其进行校正。因此，通过堆叠人的对准的漫射色度图而构造的矩阵应当具有低秩。代替真实人脸图像的地面实况高光层，我们使用地面实况漫射层的这种低秩属性来微调我们的Highlight-Net。这种微调使用图2（a）中所示的网络结构来实现，其中Highlight-Net用低秩损失来增强。用于训练的图像取自MS-celeb-1 M数据库[7]，该数据库包含100，000个名人中的每个名人的100张在6.1节中描述的一些预处理之后，我们有一组在一致照明颜色下对齐的正面人脸图像每一个名人。从该数据集中，针对每批随机选择同一名人的四个面部图像。将一个批次馈送到Highlight-Net中以产生四个图像的估计高光层。从原始图像中减去这些高光层以获得对应的漫射层。对于漫射层Id，其漫射色度图按像素计算为1chrom（Id）=（I（r）+I（g）+I（b））（Id（r），Id（g））（1）D d d其中r、g和b表示颜色通道。然后将每个漫反射色度图重新整形为向量Idc，并将四个图像的向量进行堆叠intoamatrixD=ΣIdc，Idc，Idc，IdcΣT. 随着对D的随机访问的减少，1 2 3 4Highlight-Net通过反向传播进行微调。由于面部的漫射色度在图像之间应该是一致的，所以矩阵D的秩理想地应该是1。所以我们将低秩损失定义为它的416×416416×416416×416416×416×2416×416416×416416×416416×416儿反照率遮阳网416×416基于无监督深度高光提取的人脸光照探测7R图3.第三章。左：镜像反射。右：粗糙表面的镜面反射第二奇异值，在反向传播期间，根据[28]评估σ2D=UΣVT，Σ=diag（σ1，σ2，σ3，σ4），losslowrank=σ2，∂σ2Di，j=Ui，2 ×Vj，2。（二）5光照估计5.1环境映射初始化镜面的镜面反射对于照明估计是理想的，因为当表面法线已知时，观察到的高光可以精确地追溯到环境贴图这种精确的跟踪是可能的，因为高光反射沿着单个反射方向R被引导，该单个反射方向R关于表面法线N镜像入射照明方向L，如图3的左侧所示。这种光线跟踪方法被广泛用于在计算机图形应用中捕获具有镜像球体的环境贴图。对于像人类皮肤这样的粗糙表面的镜面反射，光能量反而围绕镜面反射方向紧密分布，如图3的右侧所该镜面波瓣可以通过Phong模型的镜面项[31]近似为Is=ks（R·V）α，R=2（L·N）N−L（3）其中ks表示镜面反射率，V是观察方向，α表示表面粗糙度。我们特别选择使用Phong模型来利用已为其编译的统计数据，如稍后所述。如在[32]中严格导出的，反射可以表示为与表面BRDF（双向反射分布函数）卷积的方程3中的模型。因此，如果我们将面部的高光分量朝向场景往回追踪，则我们获得环境图的卷积版本，其中卷积核由光谱反射波瓣确定。使用单图像人脸重建算法[51]计算表面法线，我们的方法执行此跟踪以恢复初始环境图，如图4（a）所示。由于有限的图像分辨率，表面上的法线是稀疏采样，并通过直接跟踪高光获得的环境地图LVN表面LRN表面8R. Yi等人SSS(a)（b）（c）（d）见图4。照明估计的中间结果。(a)跟踪环境贴图通过向前翘曲;（b）通过反向扭曲追踪环境图;（c）去卷积之后的地图;（d）照明颜色重新缩放之后的最终环境地图。如图4（a）所示，组件也是稀疏的。为了避免这个问题，我们采用逆图像变形，其中对于环境图中的每个像素p，追溯到面部以获得其对应的法线Np和使用最接近Np的可用面法线来插值Np的高光值。以这种方式，我们避免了由直接追踪（即，向前扭曲）加亮到环境贴图。图4（b）中示出了该逆扭曲的结果。5.2镜像瓣接下来，我们使用镜面反射波瓣对过滤后的环境贴图进行去卷积该去卷积应用于球面域中，而不是应用于由炜度和经度参数化的空间域中，这将引入几何失真。考虑以环境图上的点x =（θx，φy）为中心的去卷积核Kx在附近的点y =（θy，φy）处，Kx的值为Kx（y）=kx（Ly·Lx）αx（4）其中Lx和Ly是从球心指向x和y。术语αx和kx表示表面粗糙度，x处的镜面反射率为了确定环境图中每个像素的αx和kx，我们使用来自MERL/ETH皮肤反射数据库的统计数据[50]。在这些统计中，面部按皮肤类型分类，并且每个面部被分成十个区域，每个区域由于皮肤属性的差异而具有其自己的平均镜面反射率和粗糙度，例如，前额和鼻子相对更油腻。 使用用于该面的kintyee4的该面的平均和粗糙度值，我们的方法通过Richardson-Lucy算法执行反卷积[21，35]。图4（c）示出了去卷积之后的环境图。5.3重新缩放照明颜色高光反射的亮度通常会导致饱和像素，这些像素具有在最大图像强度处裁剪的颜色值。因此，亮点4通过关闭数据库来确定关键类型，以避免数据库中的数据丢失。 在S e c中描述了面的任意位置。 五、3 .第三章。基于无监督深度高光提取的人脸光照探测9d d d ddd(a)（b）（c）（d）图五. (a)输入照片;（b）通过地标[53]（网络输入）自动裁剪的面部区域;（c）预测的高光层（按2缩放）;（d）高光去除结果。这些颜色通道中的强度可能被低估。这个问题在图5中示出，其中预测的高光层呈现蓝色，因为红色和绿色通道中的光能没有完全记录在输入图像中。为了解决这个问题，我们利用漫反射阴影，这通常是免费的饱和度和照明颜色的指示。漫反射（即，漫射层）是漫射阴影和漫射阴影的产物，并且漫射阴影可以通过本征图像分解从漫射层中提取为了完成这种分解，我们使用合成面部图像来微调来自[24]的固有图像网络，以提高面部上的网络效率。具体地，10，000个面部图像是从使用巴塞尔面部模型[29]随机生成的50个面部形状、从100个室内和100个室外真实HDR环境图随机选择的三种不同肤色、漫反射和环境图中确定的。如图2（b）所示，将此反照率阴影网络添加到我们的系统中，从输入面生成高光层，反照率层和漫射阴影层。使用漫射阴影层，我们通过重新缩放其通道来重新着色通过Highlight-Net提取的高光层H当蓝色通道未饱和时，其值是正确的，其他通道相对于它重新缩放为[H ′（r），H ′（g），H ′（b）]=[H（b）*c（r）/c（b），H（b）*c（g）/c（b），H（b）]（五）其中，cd是漫射阴影色度。如果红色或绿色通道是不饱和的，则可以类似地从红色或绿色通道解决重新缩放。如果所有通道都是饱和的，我们使用蓝色通道，因为基于照明和皮肤的常见颜色，在对高亮层重新着色之后，我们按照第5.1-5.2节中的过程计算其对应的环境图以产生最终结果，诸如图4（d）中所示。5.4从多个面在光源在附近的场景中，入射光分布可以在不同位置处显著变化我们的非参数照明模型的一个优点是，当图像中有多个人脸时，我们可以10R. Yi等人通过推断每个面处的环境图并使用它们对3D光源位置进行三角测量来恢复该空间变化的照明。作为演示该想法的简单方案，我们首先使用通用3D面部模型（例如，Basel Face Model [29]），以通过使用[53]的方法将面部模型上的3D图像和标记映射到图像中的2D界标来求解相机系统中的每个面部然后利用Highlight-Net获取每个面的环境贴图。在环境图中，强光源被检测为通过非最大值抑制找到的局部最大值。为了在从不同面部检测到的光线之间建立对应关系，我们首先根据它们的颜色进行匹配。当存在相同颜色的多个光时，通过对两个面之间的不同组合进行三角测量来确定它们的对应关系，其中使用第三面进行验证。以这种方式，可以恢复3D光源位置6实验6.1训练数据对于Highlight-Net的预训练，我们使用Basel Face Model [29]随机生成50个3D人脸。对于每个脸型，我们调整纹理贴图来模拟三种不同的肤色。然后，这150张人脸在200个不同的HDR环境贴图下渲染，其中100张来自室内场景，100张来自室外场景。漫反射和镜面反射分量分别渲染，其中空间均匀的镜面反射在[0， 1]之间随机生成补充文件中提供了这些效果图的一些示例对于训练，我们通过减去平均图像值然后归一化到范围[0，1]来预处理每个渲染。在对Highlight-Net进行微调时，每个名人的图像集都会经历一系列常用的预处理步骤，以便面部对齐，正面，辐射校准，并在一致的照明颜色下。对于面部额化，我们应用[8]中的方法然后，我们识别面部标志[53]来裁剪和对齐这些正面面孔。裁剪的图像通过[15]中的方法进行辐射校准，并且它们的颜色直方图通过MATLAB [23]中的内置直方图传递函数进行匹配，以减少照明色差。在不具有内空间对齐的情况下，如果面部表现出强烈的表情或多个照明颜色，则图像通常被移动，因为这些情况通常导致不准确的空间对齐或较差的这些预处理图像的一些示例在补充材料中给出6.2高光去除为了检查高光提取性能，我们将我们的高光去除结果与图6中的几种先前技术[16，40，41，47，52]的结果进行前两行示出了在室内定向光下通过交叉偏振捕获的具有已知地面实况的面部上的结果为了显示公平的比较基于无监督深度高光提取的人脸光照探测119.6211.639.6212.3915.2814.1727.450.88010.210.84110.930.86516.930.88422.140.83715.660.87118.100.85930.340.8020.7650.7810.7670.7490.7900.777地面实况不可用地面实况不可用(a)（b）（c）（d）（e）（f）（g）（h）（i）图六、在实验室图像与地面实况和自然图像上进行高亮去除比较通过地标检测自动裁剪面部区域[53]。(a)输入照片。(b)通过交叉极化捕获实验室数据的地面实况。(c-h)通过（c）我们的微调Highlight-Net，（d）没有微调的Highlight-Net，（e）[41]，（f）[16]，（g）[40]，（h）[52]和（i）[47]的高光去除结果。对于实验室图像，RMSE值在右上角给出，SSIM [49]（越大越好）在右下角。对于绝对强度误差和结构相似性，我们使用RMSE和SSIM [49]作为误差/相似性度量。最后两行是对自然室外和室内照明的定性比较，其中由于在一般设置中交叉偏振的困难而无法获得在所有这些示例中，我们的方法优于先前的技术，先前的技术通常难以处理通常出现在高亮区域中的饱和像素我们注意到，由于大多数以前的技术是基于颜色分析和二色反射模型[39]，它们不能处理灰度图像，不像我们基于CNN的方法。有关灰度图像和其他彩色图像的结果该图还说明了在真实图像数据上进行训练的重要性。将我们在（c）中基于微调的方法与我们在（d）中没有微调的方法以及在（e）中对合成数据[41]进行训练的基于CNN的方法进行比较表明，仅在合成数据上进行训练是不够的，并且我们用于对真实图像进行微调的无监督方法大大提高了高光分离的质量。表1中给出了100个合成人脸和30个真实人脸的定量比较误差直方图和图像结果显示在补充，ment。12R. Yi等人合成数据真实数据我们的[41][16][40] [52][47]我们的[41][16个][第四十届][52][47个]平均RMSE3.37 4.15 5.35 6.75 8.08 28.007.61 8.93 10.34 10.51 11.74中位数RMSE3.41 3.54 4.68 6.41 7.826.75 8.71 10.54 9.76 11.53 22.96SSIM平均值0.94 0.94 0.92 0.91 0.910.89 0.89 0.90 0.860.88 0.88SSIM中位数0.95 0.94 0.92 0.91 0.910.90 0.90 0.91 0.880.90 0.89表1.定量高光去除评估。漫反射兔子光泽兔重新照明RMSE[9][5][19][12][12]第五届全国人大代表选举结果平均值（室外）10.78 18.13\ 21.20 17.7711.02 18.28\ 21.63 18.28中间层（室外）9.38 17.03\19.959.74 17.67\20.49 16.30平均值（室内）13.18\29.25 25.40 20.5213.69\29.71 25.92 21.01中位数（室内）11.68\25.99 25.38 19.2211.98\26.53 25.91 19.75表2.基于合成数据的光照估计6.3照度估计在[9]之后，我们通过检查斯坦福兔子在预测环境地图和地面实况下的重新照明误差来评估照明估计。对渲染到捕获的室外和室内场景中的合成面部及其记录的HDR环境图执行照明估计。计算漫反射和有光泽的Stanford bunny的结果（有关渲染参数、渲染bunny的可视化和估计的环境贴图，请参见补充资料）。比较方法包括：我们的[12]的实现，其在面部是漫射的假设下使用面部来恢复高达二阶的球面谐波（SH）照明;[19]的下载代码，其估计给定已知表面法线的照明和反射率，我们使用[51]估计;[9]的在线演示代码，其设计用于室外图像;以及作者提供的[5]的结果，其旨在用于室内图像。重新点火误差如表2所示除了[9]和[5]之外，针对从100个真实HDR环境图（50个室内和50个室外）下的五个合成面部估计的500个环境图计算误差。由于[9]和[5]分别用于室外和室内场景，并且不是在面部上训练的，因此它们的结果各自是从来自50个室内/室外环境图的中心的LDR裁剪计算的。我们发现[9]和[5]在估计光源方向时通常不太精确，特别是当光源在输入作物中处于视野之外时，但它们仍然提供了合理的近似值。对于[5]，当室内环境更复杂时，高频照明的估计变得不太精确。实验表明，与我们的方法相比，[19]可能对表面纹理和不精确的几何形状相对敏感，该方法是专门设计用于处理面部的。对于球谐表示[12]，低阶SH模型的估计被认为是基于无监督深度高光提取的人脸光照探测13(a)（b）（c）（d）（e）图7.第一次会议。室内（第一行）和室外（第二行）场景的虚拟对象插入结果（一）实物照片对象插入（b）我们的方法，（c）[5]用于第一行，[9]用于第二行，（d）[19]，（e）[12]。更多结果在补充。见图8。对象插入结果由我们的方法。缺乏细节，并且估计的面部反照率结合了照明颜色，这导致环境地图大部分是白色的（参见补充示例）。总的来说，结果表明，我们的方法提供了最接近地面真相的估计。有关真实场景中环境地图估计误差的比较，请参阅补充资料。我们还使用估计的照明对虚拟对象插入进行了比较，如图7和补充中所示。为了帮助验证，我们还显示了包含实际物理对象（Android机器人）的图像。在一些情况下，诸如（c）的底部，来自侧面的照明被估计为来自更后面，导致阴影外观。附加的对象插入结果在图8中示出。6.4光源三角测量使用第5.4节中描述的简单方案，我们演示了从具有三个面的图像中的两个局部光源的三角测量，如图9（a）所示来自三个面的估计的环境图在图9（b）中示出我们对其中两个点光源进行三角测量，同时使用第三个进行验证。为了提供定量评估，我们使用DSO SLAM系统[4]来重建场景，包括面部和光源。我们手动将3D点云中的重建面和光源标记为地面实况。如图9（c-d）所示，我们的方法的结果接近于该基本事实。定位误差分别为0.19m、0.44m和0.29m14R. Yi等人从左到右，两个灯分别为0.41m和0.51m。如果使用地面真实面位置，则灯的位置误差分别减小到0.20m和0.49m。(a)（b）（c）（d）图9.第九条。（b）它们的估计的环境图（从上到下是针对从左到右的面部）;从（c）侧视图和（d）俯视图估计的3D位置。黑点：摄像头。红点：人脸和灯光的地面实况。蓝点：估计的面孔和灯光。橙色圆点：使用面部位置的地面实况估计灯光。7结论我们提出了一个系统的非参数照明估计的基础上，一个无监督的微调方法提取高光反射的脸。在未来的工作中，我们计划研究更复杂的方案，从图像中的多个面孔的环境地图恢复空间变化的照明使用面部作为照明探针可以让我们更好地了解相机未观察到的周围环境，这可以使各种视觉应用受益。致谢。这项工作得到了加拿大NSERC Discovery Grant 611664的支持。易仁教获国家留学基金管理委员会奖学金资助。引用1. 巴伦J.T. Malik，J.：形状、照明和着色的反射率。IEEETra nsPater nAnalMac hIntell（PAMI）37（8），167 02. Blanz，V.，Vetter，T.：三维人脸合成的可变形模型In：ACMSIGGRAPH.pp. 187ACM（1999）3. 地 方 检 察 官 卡 利 安 Lalonde ， J.F. ， Gotardo ， P. Simon ， T. 马 修 斯 岛Mitchell，K.：从面部到室外光探头。在：计算机图形论坛.第37卷，pp. 51比61 电影WileyOnlineLibrary（2018）4. Engel ， J. ， Koltun ， V.Cremers ， D. ： 直 接 稀 疏 测 距 法 。 IEEETransactions on Pattern Analysis and Machine Intelligence（2017）基于无监督深度高光提取的人脸光照探测155. G ardner，M. 一、 Sunkavalli，K.， 你是E Shen，X.， G ambareto，E.，去吧C Lalonde，J.F.：学习从单个图像预测室内照明ACM Transactionson Graphics（SIGGRAPH Asia）9（4）（2017）6. Garrido，P.瓦尔加湖，吴，C.，Theobalt，C.：从单目视频重建详细的ACM Transactions on Graphics（TOG）32（6），158：17. Guo，Y.，中国科学院，张，L.，Hu，Y.，他，X.，高杰：Ms-celeb-1 m：大规模人脸识别的数据集和欧洲计算机视觉会议。pp. 87-102 02TheDog（2016）8. Hassner，T.，Harel，S.，Paz，E.，Enbar，R.：非约束图像中的有效面部额化。在：IEEE计算机视觉和图像处理会议论文集中。pp. 42959. Hold-Geoffroy，Y. Sunkavalli，K.，Hadap，S.，Gambaretto，E.，Lalonde，J.F.：深度室外照明估计。IEEE International Conference on Computer Visionand Pattern Recognition（2017）10. Kemelmacher-Shlizerman岛Basri，R.：使用单个参考面部形状从单个图像进行3D面部重建。IEEE Trans Pattern Anal Mach Intell（PAMI）33（2），39411. Kim，H. Jin，H.，Hadap，S.，Kweon，I.：使用暗通道先验的镜面反射分离。在：IEEE计算机视觉和模式识别会议论文集。pp. 146012. Knorr，S.B.，Kurz，D.：用于相干绘制的人脸实时光照估计。在：混合和增强现实（ISMAR），2014 IEEE国际系统中。pp. 113-122 IEEE（2014）13. Lalonde，J.F.，Narasimhan，S.G.，Efros，A.A.：天空告诉了我们什么关于彗星的事？ In ：Europeanconferenceoncommputtervision. pp.354-36702TheDog（2008）14. Lalonde，J.F.，Narasimhan，S.G.，Efros，A.A.： 太阳和天空告诉我们什么？InternalJo ur nalofCom uterViso n88（1），2415. Li，C.，林，S.，Zhou，K.，（1991年），Ikeuchi，K.：从图像中的面部进行辐射校准。在：IEEE计算机视觉和模式识别会议论文集中。pp. 311716. Li，C.，林，S.，Zhou，K.，（1991年），Ikeuchi，K.：面部图像中的镜面高光去除IEEE计算机视觉和模式识别会议论文集。pp. 310717. Li，C.，Zhou，K.，（1991年），Lin，S.：基于人脸先验的内在人脸图像分解在：欧洲计算机视觉会议论文集（2014）18. 李，Y.，林，S.，吕，H.，沈希尧：纹理场景中的多线索光照估计。 In：在ComuterVision上执行I t e r n a t i pp. 136619. Lombardi，S.，Nishino，K.：野外反射率和光照恢复。IEEETransPaternAnalMachIntel（PAMI）38（1），12920. Lopez-Moreno，J.，Hadap，S.，Reinhard，E.，Gutierrez，D.：通过我们的数据集合成图像。CommputersGraphics34（6），69821. Lucy，L.B.：一种用于校正观测分布的迭代技术。天文学杂志79，745（1974）22. Mallick，S.P.，Zickler，T.，Belhumeur，P.N.，克里格曼，D.J.：图像和视频中的镜面反射去除：PDE方法。欧洲计算机视觉会议论文集（2006）23. Mathworks：Matlab r2014b，www.mathworks.com/products/matlab.html16R. Yi等人24. Narihira，T.，Maire，M.，Yu，S.X.：直接内部函数：通过卷积回归学习反 照 率 阴 影 分 解 。 In ： ProceedingsoftheIEEEInternationalConferenceonComputerVision. pp. 299 225. Nishino，K.Nayar，S.K.：重新点亮的眼睛英文名：ACM Transactions on Graphics（TOG）。 vol. 第23页。 704-711 ACM（2004）26. Okabe，T.，佐藤岛Sato，Y.：球谐函数与Haar小波：从投射阴影恢复照明的基础 。In：Proceedings of IEEE Conference on ComputerVis i sinandPaternRec gnit i tin. vol. 第1页。5027. Panagopoulos，A.，Wang，C.，中国地质大学，Samaras，D.，Paragios，N.：光照估计并通过高阶图形模型进行投射阴影检测。IEEE计算机视觉与模式识别会议论文集（2011）28. Papadopoulo，T.，Lourakis，M.I.：奇异值雅可比矩阵的估计分解：理论与应用。在：欧洲计算机会议Vision. pp. 554- 570。02TheDog（2000）29. Paysan，P.诺特河Amberg，B.，Romdhani，S.，Vetter，T.：三维人脸模型姿态和光照不变的人脸识别。In：Advanced Video and Signal B asedSurveillance，2009. AVSS' 09. 六 个小时后，我才发现所有的铁都是铁的。pp.296-301 02The Dog（2009）30. 佩索阿，S.，Moura，G.，Lima，J.，Teichrieb，V.，Kelner，J.：照片级逼真渲染增强现实：全局照明和brdf解决方案。In：Virtual Reality C〇nference（VR），2010IEEE. pp. 3-10 IEEE（2010）31. Phong，B.T.： 计算机生成图片的照明。 信息通报ACM18（6），31132. Ramamoorthi河Hanrahan，P.：一种用于逆修的信号处理框架。 在：ACMSIGGRAPH. pp. 117-128 ACM（2001）33. Rematas，K.，Ritschel，T.，Fritz，M.，Gavves，E.，Tuytelaars，T.：深反射率地图在：IEEE计算机视觉和模式识别会议论文集中。pp. 450834. Richardson，E.，Sela，M.，奥尔-艾尔河Kimmel，R.：学习详细的面部重建-从一个单一的图像。在：IEEE计算机视觉和模式识别会议论文集（2017）35. Richardson，W.H.：基于贝叶斯的图像复原迭代方法JosÃ62（1），5536. 佐藤岛Sato，Y.，Ikeuchi，K.：获取辐射率分布，以将图像投影到真实的图像上。IEEETransVisCom putGra ph（TVCG）5，137. 佐藤岛Sato，Y.，Ikeuchi，K.：阴影的照明IEEE传输模式AnalMachIntel（P AMI）25，29038. Sela，M.，Richardson，E.，Kimmel，R.：使用图像到图像转换的无限制面部几何重建。在：计算机视觉国际会议论文集（2017）3