几何一致阴影的人脸重光照方法

4217具有几何一致阴影的人脸重光照侯伟*，1，Michel Sarkis2，毕宁2，童怡颖1，刘晓明1，1密歇根州立大学，2高通技术公司。{houandr1，ytong，liuxm}@ msu.edu，{msarkis，nbi}@qti.qualcomm.comhttps://github.com/andrewhou1/GeomConsistentFR摘要大多数面部重新照明方法能够处理漫反射阴影，但难以处理硬阴影，例如鼻子投射的阴影。提出用于处理硬阴影的技术的方法通常不产生几何上一致的阴影，因为它们在合成它们时不直接杠杆化估计的面部几何形状。我们提出了一种新的微分算法合成硬阴影的光线跟踪的基础上，我们把训练我们的人脸重光照模型。我们提出的算法直接利用人脸的几何形状来合成几何一致的硬阴影。我们通过对Multi-PIE和FFHQ的定量和定性实验证明，我们的方法比以前的人脸重光照方法产生更多的几何一致的阴影，同时在定向光照下也实现了最先进的人脸重光照性能此外，我们证明了我们的可微硬阴影建模提高了漫反射阴影模型的估计面几何的质量。1. 介绍单图像人脸重光照是计算机视觉和计算机图形学领域的一个热点问题。鉴于人们对照片编辑的广泛兴趣，重新照亮消费者的照片一直是激发问题的主要面部重新照明还可以应用于其他领域，例如增强现实（AR）[29]，其中它可以用于修改面部照明以匹配环境照明，以及面部识别[16，33]，其中它可以将图像重新照明为正面照明。因此，它既与消费者兴趣和娱乐有关，又与诸如认证的安全应用有关。早期的重新照明方法[35，43，54]倾向于简化假设，即光被环境自然散射，因此在自然界中漫射，并且人类皮肤是朗伯材料。虽然这足以模拟*本文中提到的所有数据都是在密歇根州立大学下载和使用的。a) 输入图像b）目标图像c）Hou [10] d）建议图1. 概况.我们介绍了一种新的面部重光照方法，产生几何一致的阴影。通过提出一种基于光线跟踪原理的可微分算法，该算法直接使用面部几何形状来建模硬阴影，我们的方法产生物理上正确的硬阴影，这是最先进的面部重光照方法，Hou等人。 [10]不能生产。一般照明方向和软阴影，它不考虑非朗伯效应，例如来自强定向光的硬阴影这是非常有问题的，因为现实世界中的许多光源（例如太阳）最好建模为定向光。在AR/VR中，环境照明通常也被设置为定向光。为了增强野外消费者照片和AR/VR中的照片真实感，适当的硬阴影建模是必要的。因此，面部重照明中的一个重要问题是处理硬阴影。大多数现有方法不处理非漫射照明，并且无法合成逼真的硬阴影[35，43，54]。它们通常使用平滑的光照条件，如低阶球谐函数（SH），并使用漫射光照对图像进行训练。虽然野外的许多照明条件都是基于环境或区域的，但这些假设并没有考虑强方向光和点光的相互作用，这会产生硬阴影。在对硬阴影进行建模的当前方法中[10，29，30]，没有一种方法能够保证几何一致的投射阴影，因为它们不直接使用估计的面部几何来生成它们。如果不直接使用几何体，投射阴影的形状（如鼻子投射的阴影）可能不正确。我们引入了一种新的可微算法来估计4218⬦⬦⬦⬦使用光线跟踪的原理来确定投射阴影的位置。 我们依赖于这样的原理：投射的阴影将位于面部的某些部分，其中投射到光源的光线与某些遮挡表面相交，例如鼻子。因此，我们的方法可以利用估计的面部几何形状来产生几何上一致的硬阴影（参见图1B）。1）。我们进一步证明，微分建模硬阴影可以提高面部几何形状的质量，特别是在产生硬阴影的区域（例如鼻子和面部边界附近），与假设漫射阴影的模型相比。因此，我们表明，可微硬阴影建模不仅有利于relit图像的真实感，但也内在的成分估计，这可以有利于其他下游任务。因此，我们提出的方法有四个主要贡献：我们提出了一个单一的图像人脸重光照方法，可以产生几何一致的硬阴影。我们引入了一种新的微分算法来估计面部投影阴影的基础上估计的几何形状。在定向光下，我们在2个我们的可微分硬阴影建模提高了使用漫反射阴影模型的估计几何形状。2. 相关工作重新点亮面孔之前的作品可以分为4类组：内在分解[2，3，530，35，36，40，44-43，49，53，54]，风格转移[21，27，34，38，39]，和比率图像[32，37，42，50]。内在分解估计几何体、光照和光照，并使用新的光照渲染图像。图像到图像的转换替代地直接估计重投影图像。样式转移将参考图像的照明作为样式转移到输入图像。比率图像方法通过估计源图像和目标图像或照明之间的比率来重新照明我们的方法与最近的工作相比的总结显示在Tab中。1.一、Nestmeyer等人。 [29]使用从U-Net估计的二元可见性图对硬阴影进行建模。可见性贴图不直接受面几何体约束，因此具有很大的自由度，这可能导致几何体不一致的阴影。此外，由于它是二元的，它们的投射阴影是黑色的，而阴影应该与环境Hou等人。 [10]利用阴影遮罩沿硬阴影边界分配更高的权重。虽然这改善了阴影，但它们不使用几何体，因此阴影可以具有任何形状。我们的模型产生硬阴影，其中从面部投射到光源的光线与面部几何体的其他部分相交，这确保了方法照明模型模型类别手柄硬阴影Geom. 一致硬阴影SfSNet [35]SH内在XXDPR [54]SHIm2ImXXSIPR [43]环境地图Im2ImXX[29]第二十九话侯[10][30]第三十话方向灯SH环境贴图固有Im2Im内在JJJXXX提出定向光内在JJ表1. 方法比较。我们提出的方法相比，最近的脸重光照方法的总结。shadows.然而，它们依赖于着色网络来产生给定的光照图和光照图的重光照图像，这将具有网络估计误差。因此，不保证它们产生几何一致的阴影。可微分渲染和光线跟踪近年来，已经提出了适合逆渲染任务的多个可微分渲染器[14，20，24，26，28但是，大多数可微分渲染器并不显式地对阴影建模，特别是硬阴影。与我们最相似的工作是Li等人。 [20]，他们提出了一种可微分的光线跟踪器来模拟硬阴影。他们的方法在网格上操作，并引入了一种新的蒙特卡罗边缘采样算法来处理沿三角形边缘的不可微性。我们的阴影模型- ING也是一种形式的可微光线跟踪，但操作的2。从面深度贴图而不是网格生成的5D点。代替在网格三角形的边缘上积分以确定阴影，我们发现对面部上的每个点和光源之间的点进行采样并且如果采样点之一与某些面部部分（例如鼻子）相交则将投射阴影分配给该点就足够了。最近，Srinivasan等人提出了NeRV [41]，它可以从任何方向更有效地建模场景特定的硬阴影然而，它们依赖于可见性MLP来预测阴影的位置，这留下了由于网络估计误差而生成几何不一致阴影此外，NeRV需要数百张具有已知光照和姿势的图像，并且一次只能在一个静态场景上进行训练，而我们的模型由于在训练中利用了公共人脸数据集而具有可推广性，每个主题只需要一张图像，并且可以应用于任何人脸图像的推理。3. 该方法3.1. 问题公式化我们的重新照明方法依赖于内在分解，因此受到渲染方程[11]的激励：阴影在几何上是一致的Pandey等人 [30]模拟漫射和镜面反射光，并可以生成非朗伯效果，如硬Lo（x，ωo）=ωi∈εf（x，ωi，ωo）Li（x，ωi）<$n，ωi<$dωi，（一）4219··∫图2. 模型概述。给定单个图像It和目标照明方向ωt，我们的模型生成具有几何上一致的投射阴影的重光图像I p。由于我们的阴影掩模估计模块，实现了几何一致性，该阴影掩模估计模块使用深度图Dp（面部几何形状）来估计阴影掩模M阴影Mshadow将非漫反射投射阴影合并到我们的着色Sp中。其中x是3D表面上的点，n是x处的表面法线，ωi和ωo是入射光和出射我们对渲染方程的重新表述是，L（x，ω）=a（x）s′（x），（5）分别为方向，θ为单位半球cen-o o在n周围用ω i的所有可能值进行排列，Li（x，ω i）和Lo（x，ω o）是入射和出射辐射率，f（x，ω i，ω o）是确定材料反射率的双向反射分布函数（BRDF）。如果仅考虑漫反射，即f（x，ω i，ω o）= a（x）/π，则渲染方程变为：a（x）L（x，ω）=L（x，ω）<$n，ω <$dω = a（x）s（x）.其克服了漫射阴影的限制模特们会投下阴影与现有的对投射阴影进行建模的面部重光照方法不同[10，29，30]，我们的公式通过直接使用估计的面部几何形状计算M阴影来确保几何一致的投射阴影我们在SEC讨论这个问题三点三3.2. 架构o oπ我我我ωi∈ε（二）给定单个图像It作为输入，我们的模型估计这里a（x）是漫反射阴影，s（x）是漫反射阴影。假设场景中存在主导方向光，而不考虑光源的可见性根据x，漫射阴影s（x）可以近似为：s（x）=ia+id<$n，ωd<$n，（3）其中，Ia是场景中的环境光的强度，Id和ωd分别是定向光的强度和方向换句话说，Li（x，ωi）=ia+id π δ（ωi，ωd），其中δ（，）是狄拉克δ函数。为了模拟可微分投射阴影，我们引入阴影掩模M阴影来模拟方向光的可见性。对于每个点，M阴影存储一个接近0的值，如果该点是在一个投下的阴影和接近1otherwise。投射阴影下的强度应该是ia，因为方向分量被面部的某个部分阻挡，因此只有环境分量应该有助于阴影的强度。建模投射阴影的步骤阴影，我们将修改后的阴影s'表示为：本征分量：深度图Dp（几何形状）、亮度Ap、照明方向ωp和环境照明强度ia，p。我们的架构主要采用DPR[54]使用的沙漏网络，但我们复制了解码器并形成两个分支来估计Dp和Apre-time。ωp和ia，p使用编码器之后的多层感知器（MLP）来估计然后，从Dp计算表面法线Np，并且通过方程计算阴影Sp4.第一章我们将在下一节讨论M阴影最终渲染图像Ip然后根据等式1生成。5如：Ip= ApSp。（六）在训练期间，我们使用ωp渲染Ip，ω p是输入图像It的估计光照方向。我们通过强制Ip再现输入图像It来监督内在分量估计。在推断期间，我们的模型反而接受目标照明方向ωt作为输入，这允许我们执行重新照明。我们使用Dp和ωt计算M阴影，这允许我们使用geomet生成relit图像s′（x）=ia+Mshadow（x）id<$n，ωd<$n=Mshadow（x）s（x）+（1 − Mshadow（x））i4220a.（四）从任何照明方向投射的阴影都是一致的。我们在图中说明了我们的整体模型架构。二、4221∈×−LΣM⟨⟩ǁ −ǁL LLL −2采样点和射线，dmin= minj∈[1，m]|、（7）|,(7)图3. 阴影掩模估计。我们利用Dp，ωt和光线跟踪原理生成M阴影。为每一分xiDp，我们沿着−x−i→ωt方向从D p采样点。如果存在一个采样点，它到−x−i→ωt的距离接近于0，则−x−i→ωt与一个表面（e. G. 鼻子）沿着它的路径和xi在阴影下。如果采样点这里是叉积。如果dmin接近0，我们将相应的阴影遮罩值Mshadow（xi）设置为接近0，表示xi处于投射阴影下否则，它应该接近1。为了实现这一点，同时确保计算Mshadow （xi）是一个可微运算，我们将Mshadow定义为dmin的Sigmoid函数：最小4e−dMshadow（xi）=（1 +e-dmin）2 + 1。（八）我们将我们的算法应用于深度图Dp中的所有点xi，以点，则xi不在投影下我们显示2个点x1，x 2，分别标记为绿色和红色的菱形。 中生成荫罩M阴影，这表明对于x1的采样点（绿色点），存在一个点（由黄色箭头标记）与表面（鼻子）相交，因此x1在投影下。对于x2，没有采样点（红色点）与曲面相交，因此x2不在投影下。3.3. 阴影估计我们的主要贡献之一是投下的阴影躺在脸上。由于我们使用Dp来计算M阴影，因此我们直接利用面部的3D几何形状来合成投射阴影，确保它们相对于面部在几何上一致。3.4. 培训损失我们利用多个损失函数来监督输入-使用荫罩M的一致投射阴影阴影. 它三本征分解为了监督深度估计，我们定义Ldepth=<$Mdepth<$Dp−Dt <$1，其中Dt是直接从估计的几何体中生成，并用于生成对投射阴影进行建模的着色Sp我们现在讨论动机和公式。光线跟踪为了激发我们的算法生成M阴影，我们首先讨论了传统的光线跟踪算法。对于3D对象上的每个点xi，光线跟踪算法向光源投射阴影光线[1]。如果阴影光线沿其路径与曲面相交，则xi处于投射阴影之下。在我们的设置中，阴影光线根据光线是否与估计的3D人脸的某些部分（如鼻子）相交来确定哪些点处于投射阴影之下。阴影掩模估计我们的方法结合了光线跟踪的原理，以使用估计的深度图Dp和目标照明方向ωt来生成M阴影（参见图3）。Dp中的每个像素对应于一个三维点xi，我们将ωt表示为三维空间中的单位向量。因此，我们可以将点xi的阴影射线表示为一个序对（xi，ωt）。为了确定它是否与表面相交，我们采样m= 160个点xs1，xs2，.，xsm沿着它的方向从Dp以规则的间隔。然后，我们基于以下观察提供了可微分可见度函数：如果存在到射线的距离接近于0的采样点，则当前射线或附近的水深groundtruth深度图，而maskMdepth定义了我们在图像上有深度监控。使用Bai等人的方法获得地面实况深度。[4]首先估计面部网格，然后应用z缓冲。为了监督估计，我们定义L_（？）Mface脸M脸是全脸面具。我们生成地面实况使用SfSNet进行验证[35]。由于SfSNet为了监督我们的照明估计，我们定义了两个额外的损失：环境和光。 我们定义ambient=i a，p i a，t1，其中ia，t是地面实况环境强度。 由于确定图像的地面实况环境强度具有挑战性，因此我们将i a，t设置为所有训练图像的相同值。我们还定义light= 1ωp，ωt，其中ωp，ωt是预测照明方向和地面实况照明方向ωt之间的内积。我们使用SfSNet获得ωt，并将估计的SH表示转换为主导照明方向。为了确保估计的内在成分作为一个整体代表一个合理的分解，我们定义了一个重新，射线将与表面和点是不-施工损失L=MfaceIp−It2脸之间投下阴影。相反，如果没有采样点与光线的距离接近0，阴影光线不会与曲面相交，并且xi不会处于投射阴影之下。因此，我们计算最小距离dmin，渲染图像Ip和输入It。 最后，为了改善感知质量，我们采用了一个PatchGAN [8]判别器，它在70×70补丁上运行。我们将我们的对抗性损失定义为LGAN，并将我们的渲染图像视为ReconXiΣM4222±±等人[29]定义为L。DSSIM2−方法SfSNet [35]DPR [54]SIPR [43][29]第二十九话侯[10]提出LPIPSMSEDSSIM0的情况。5222± 0。07430的情况。0961± 0。04950的情况。2918± 0。03750的情况。2644± 0。08080的情况。0852± 0. 05150的情况。1599± 0。05580的情况。2764± 0。07360的情况。0166± 0. 01070的情况。1539± 0。04520的情况。3795± 0。22940的情况。0588± 0. 05380的情况。2226± 0。13560的情况。2013年± 0. 06760的情况。0303± 0. 01620的情况。1186± 0。03880的情况。1622± 0。04900的情况。0150± 0. 01120的情况。0990± 0。0381表2.目标照明下多PIE图像的重新照明评价（平均标准差）。我们将我们的模型与接受单个图像和目标照明的方法进行我们的方法在所有指标中实现了最佳性能（粗体）。(a) 输入图像(b)目标图像(c)[35]（d）DPR [54]（e）SIPR [43](f)[10]第29话（第一次）图4. 多PIE（目标照明）上的定性重新照明性能。每种方法在给定单个输入图像和目标照明的情况下执行重新照明。与Hou等人 [ 10 ] 和 Nestmeyer 等 人 相 比 ， 我 们 的 方 法 的 投 射 阴 影 更 接 近 目 标 图 像 。 [29] 、 两 条 基 线 造 型 投 下 阴 影 。[43][44][45][46][47][48][49]方法[第38话]Shu [39]侯[10]提出LPIPSMSEDSSIM0的情况。2446 ± 0。07500的情况。0529 ± 0. 03610的情况。1998年± 0.08270的情况。1548 ± 0。04820的情况。0188 ± 0. 01770的情况。0994 ± 0. 04150的情况。1499± 0。04440的情况。0192± 0. 01190的情况。0942± 0. 03600的情况。1580± 0。04850的情况。0176± 0. 01270的情况。0962± 0. 0381表3. Multi-PIE上的照明传递评估（平均标准差）。每个输入图像被分配一个随机的参考图像。参考图像是与输入图像不同的对象和不同的照明。伪分布和输入图像作为真实分布。我们还利用DSSIM损失来进一步提高类似于Hou等人的感知质量。[10]和Nestmeyer（1−SSIM（Ip，It））2因此，我们的最终损失函数定义为：在Multi-PIE [9]数据集上，每个受试者包含18张图像，每张图像都有一个独特的方向光。4.1. 定量评价当我们的模型使用目标照明ωt重新照亮时，我们随机选择Multi-PIE中的18个定向光中的1个作为每个主体的ωt，并随机选择18个图像中的1个作为输入图像。由于Multi-PIE在每个照明条件下捕获每个主体，因此我们具有重新照明地面实况，并且可以将我们的重新照明图像与目标照明ωt下的地面实况图像进行定量比较。因此，我们与接受目标照明作为输入的现有方法进行比较[10，29，35，43，54]。我们使用3个met-总L=λ1L深度+λ 2L深度+λ 3L环境+λ4Llight+λ 5Lrecon+λ 6LGAN+λ 7LDSSIM，其中λi是每个损失函数的权重（九）Rics：MSE，DSSIM [29]和LPIPS [52]。DSSIM和LPIPS 是 与 感 知 质 量 高 度 相 关 的 指 标 [29 ， 52] 。DSSIM=1（ 1 SSIM）是基于SSIM定义的错误度量[48]。 在评估过程中，我们...我们使用PyTorch [31]进行训练，使用Adam Optimizer [15]进行100次epoch，学习率为0。0001在一个GeForce RTX2080 Ti GPU上。在训练中，我们设置λ1= 1，λ2= 5，λ3= 2。5，λ4= 1，λ5=20，λ6= 0。01，λ7= 8，对于i a，t= 0的地面实况环境强度。5，方向强度为i d= 0。五、4. 实验由于我们的训练目标是最小化渲染图像Ip和输入图像It之间的差异，因此我们最终可以自由地使用具有光照变化的任何面部数据集我们在CelebA-HQ数据集[12]上训练我们的模型，其中包含来自CelebA数据集[25]的30，000张野外人脸图像根据Hou等人的测试协议。[10]，我们定量4223仅在由M深度指示的面部区域中为所有方法设置度量。这确保了与我们的方法的公平比较，因为M深度表示我们的图像从Bai等人那里接受深度监督。[4]，它不估计面部外部的深度。因此，我们的方法旨在重新照亮面部区域，而不是头发或背景。我们在表中报告了我们的评估结果2并注意到，我们的模型在所有3个指标上都实现了最佳性能，DSSIM和LPIPS的增益最大，这表明我们的Relit图像的感知质量比以前的工作有了显著改善。 这在很大程度上是由于我们的可微分硬阴影建模，生成更合适的形状硬阴影。我们还显式地对环境光和定向光进行建模，这有助于在重新照明图像中产生更平衡的颜色4224(a)输入图像（b）参考(c)目标图像（d）Shih [38]（e）Shu [39]（f）Hou [10]（g）建议图5. Multi-PIE（Lighting Transfer）上的定性重新照明性能。从参考图像估计目标照明，并将其用于重新照亮输入图像。请注意，我们的模型根据参考图像估计正确的目标照明，而Shih等人 [38]转移了错误的照明。此外，Shih等人 [38]和Shu等人 [39]都不能通过照明转移产生投射阴影，而我们的模型可以。侯等人。[10]未能为顶行中的主体转移适当的投射阴影，并且第二行中的主体的投射阴影在形状和边界方面明显比我们的差比以前的工作，其中阴影可能太暗或照明的脸可能太亮。使用照明转移的多PIE评估某些方法需要输入和参考图像，并通过将参考的样式转移到输入来重新照明，称为照明转移。为了评估我们的照明传输性能，我们对每个多PIE主题的随机照明进行采样，以作为输入和来自整个数据集的随机参考图像。参考图像是与输入不同的主题并且在不同的照明下。对于照明转移，我们首先将参考图像馈送到我们的模型以估计目标照明方向ωt和环境强度ia，p。然后，我们将输入图像传递给a) Hou [10] b）建议c）目标照明图6. 重新照亮错误地图。我们显示了Relit图像和Groundtruth测试图像之间的平均L1误差图关于ωt 我a，p我们的模型来生成重新发光图像。的多PIE的每一个照明和比较侯等人。 [10 ]第10段。如b）中所示，我们在阴影区域中具有较低的误差，地面实况目标图像在多PIE中很容易获得。我们与Shih等人 [38]，Shu等人 [39]和Hou等人 [10]进行比较，并在表中报告结果。3 .第三章。我们在MSE方面实现了最佳性能，在DSSIM和LPIPS方面与Hou等人的性能相当。我们认为，性能较低的一个很大原因是SfSNet [35]的照明监督不完善，这限制了我们的模型4.2. 定性评价多PIE结果我们在图4中显示了多PIE [9]受试者针对目标照明的定性重新照明结果，在图5中显示了照明转移的定性重新照明结果。当使用目标照明时，与以前的工作相比，我们的模型产生的投射阴影更接近目标图像中阴影的形状。这是由于我们的阴影掩模估计，它结合了面部几何形状来合成投射阴影，提高了它们的几何一致性。 Hou等人 [10] Nestmeyer et al. [29]也对投射阴影进行建模，但既不直接从面部几何体合成投射阴影，也不尝试从CNN回归它们。因此，它们不能保证它们的投射阴影与面部几何形状正确匹配，如图4所示。[43]，DPR [54]，包括鼻子周围的阴影 Hou等人在投射阴影周围具有更高的误差，表明我们的方法在所有主体上产生更几何一致的阴影。SfSNet [35]主要对漫反射照明进行建模，通常不能产生投射阴影。当执行照明转移时，我们注意到我们的模型可以从参考图像准确地估计目标照明，并且在转移投射阴影时优于基线（见图5）。[ 38 ] Shih等人[38]和Shu等人[39]在很大程度上未能转移过度投射阴影，Hou等人[39]。 [10]产生的投射阴影与地面实况的形状不匹配。FFHQ结果我们评估了我们在FFHQ [13]数据集的野外人脸上的性能。我们在图7中显示，我们在几个主题和照明上产生了比以前工作更几何一致的阴影。我们还在图8中显示，当我们围绕脸部旋转目标照明时，我们的投射阴影在几何上是一致的。与侯等人[10]相比，我们的投射阴影具有更合理的形状和阴影边界。4.3. 消融和其他实验重建误差分析为了更好地了解重新照明过程中重建误差的分布，图64225(a) 输入图像(b)目标照明(c)[35]（d）DPR [54]（e）SIPR [43]（f）Nestmeyer [29]（g）Hou [10]（h）拟议图7. 在FFHQ上的定性重新照明性能。在多个野外主体和目标照明中，我们的模型比以前的方法产生更多几何一致的投射阴影，同时实现明显更好的视觉质量。最好放大看a）、b）、输入图像光1光2光3光4光5光6光7图8.投射阴影的几何一致性比较。 我们比较了我们在7个目标照明投射阴影的几何一致性与侯等人。 [10]，另一种模型投射阴影的面部重新照明方法。请注意，我们的模型的投射阴影显示在b）行中，在形状和阴影边界方面比侯等人的投射阴影更合理。如a行所示可视化我们的Relit图像和我们的Multi-PIE测试集中的地面实况目标图像之间的平均L1我们为每个目标照明单独生成一个误差图，并计算所有测试对象的平均值。我们比较我们的误差图与侯等人。 [10]，SoTA面部重新照明方法，并注意到我们的误差图在阴影面部区域中的误差要低得多，包括鼻子周围的阴影。这进一步证明了我们的方法在所有测试对象中产生了更几何一致的阴影。几何误差分析对硬阴影进行差异化建模的一个好处是，端到端训练可以改善投射硬阴影的面部区域中的固有组件，例如几何。为了证明这一点，我们将Multi-PIE测试图像上的表面法线误差与两个基线进行了比较：SfSNet [35]，一种具有漫射SH照明模型的内在分解方法，以及DFNRMVS [4]，它提供了我们的几何监督。我们选择表面法向误差作为度量，因为渲染等式使用表面法线而不是深度来计算阴影。虽然Multi-PIE 缺 乏 地 面 实 况 3D 形 状 ， 但 我 们 使 用DFNRMVS [4]来估计每个受试者的3个多视图面作为输入的面网格，从中我们计算地面实况表面法线。仍然缺乏具有大的光照变化和3D地面实况形状的数据集，部分原因是3D扫描仪对照明的敏感性。我们对Multi-PIE科目1-250进行培训，并对科目251-346进行测试。至于训练中的几何监督，我们使用来自DFN-RMVS的人脸网格，仅提供单个正面图像作为输入，其产生比3个视图更低质量的形状。如Tab.所示。4、在所有的测试图像和光照下，我们的模型在表面法线估计中实现了最低的平均角度误差。对DFNRMVS的改进表明，我们的模型不是由我们的形状监督的质量上界。我们的端到端的培训incorpo- rating可微阴影建模可以产生进一步的改进的几何。在SfSNet上进行改进，4226±第一章（七）80%）P：11。6537D：12。6395S：14。9658第12章. 60%）P：10。9290D：12。5049斯：十三。721110 .第三章60%）P：11。5282D：12。8954斯：十四。677210 .第四章25%）P：10。5350D：11。7384斯：十三。9137第五章（八）72%）P：10。8613D：11。8990S：13。8324第14章. 50%）P：13。0104D：15。2162史：十五岁。9875光7（4.44%）P：10。3723D：10。8543S：13。3527轻8（16. 10%）P：10。8003D：12。9457斯：十二个。8724第10章. 54%）P：10。3903D：11。6144斯：十三。8066光10（14.（69%）第11章（六）（63%）第12章（8）（68%）第13章（八）48%）第14章（五）94%）13 .第15话76%）第16章（8）99%）14 .第17话93%）轻18（12。55%）病人：十二岁 。 1590年D：14。南2524年 ， 十 五岁。4159病人：十二岁。2808D ：13 。 1525年 ， 南 半球 ： 15 。5531病 人 ： 10岁。4933D ：11 。 4909南 ： 15 。2955病 人 ： 11岁。6369D ：12。7155S：14。4261病 人 ： 11岁。3081D ：12 。 0220秒 ： 14 。6807病 人 ： 10岁。2569D ：11。8937S：12。7515病 人 ： 10岁。8084D ：11。8756S：13。8700病 人 ： 11岁。0435D ：12。9818S：13。8895病 人 ： 10岁。4406D ：11。9396S：14。4629图9. 多重PIE上的每个照明表面法线误差。我们计算相同照明的所有测试图像的表面法线误差（度）。我们提出的模型（P）在所有照明条件下的误差低于DFNRMVS [4]（D）和SfSNet [35]（S）。我们记录P在最佳基线上的改善百分比，其中较高的百分比以更亮的绿色突出显示。为每个照明提供参考图像及其照明方向。P对于具有硬阴影的照明（例如照明4，6，8，9，10，15，17和18）改进法线最多，这突出了我们的硬阴影建模在改进面部几何体方面的好处5. 结论我们提出了一种新的人脸重光照方法，产生几何一致的硬阴影。不像表4.多PIE上的曲面法线误差（平均值 站立-标准偏差）。我们与SfSNet和DFNRMVS进行了比较。 我们的模型产生更准确的表面法线比SfSNet，它假设一个漫射SH照明模型，和DFNRMVS，我们的形状监督，这表明我们的可微硬阴影建模在改善几何形状的能力。图10. 曲面法线改进。我们在4个具有硬阴影的光照下对测试图像的最佳基线（DFNRMVS [4]）进行了表面法线改善的第一行显示每个照明的参考图像。注意鼻梁和脸部边界附近的大的改进，这些改进投射出了很硬的这显示了我们的dif-ferentiable硬阴影建模在改善几何形状的贡献。突出了我们的阴影建模的贡献，因为Sf-SNet使用了一个漫射SH照明模型，因此在产生硬阴影的区域中没有改进几何形状的动机。图9进一步证明，对于具有显著硬阴影的照明实现了最大的改进。图10可视化了我们的模型显著地改善了鼻子的几何形状，特别是鼻梁，这是投射硬阴影的地方。它还改善了面部边界附近的情况，这也往往会产生硬阴影。这表明我们的可区分硬阴影建模提高了几何估计，特别是在投射硬阴影的区域中。在先前的工作中，我们的方法是第一个直接从几何体合成大小的投射阴影，这改善了阴影的形状和边界。我们已经在Multi-PIE和FFHQ数据集上表明，我们的方法在定向照明下定量和定性地实现了最先进的面部重光照性能。我们还表明，我们的可微硬阴影建模改善了几何形状，特别是在鼻子周围，与之前的工作，假设漫反射阴影。我们希望我们的工作将激励未来的物理驱动的重新照明方法，并提供处理硬阴影的见解。由于我们使用SfSNet[ 35 ]的不完美估计照明作为监督，我们的模型在照明传输期间积累了更多的来自SfS-Net的RGB插值也不能很好地推广到我们的训练数据，限制了我们估计的插值的质量。在一个数据集上进行训练，我们知道地面实况照明，并且可以从类似于[29]的光度立体中计算亮度，这将提高我们模型此外，尽管CelebA-HQ [12]包含一些在定向照明下的图像我们的模型将受益于一个公开可用的野外数据集，主要是定向光。更广泛的影响创建深度伪造或通过添加阴影影响监视是主要问题。我们考虑到这些风险，但认为我们的模型只添加了自身阴影，这些阴影通常大小有限，主要在鼻子周围。用户不能自由地操纵图像或将阴影添加到他们期望的任何位置，这限制了恶意用例。此外，我们的方法可以合成图像与自阴影的训练，这可以提高人脸方法的鲁棒性自阴影图像。方法表面法向角度误差（度）SfSNet [35]DFNRMVS [4]提出十四岁2796 ± 2。144212个。4505 ± 2。393911个国家。0672 ± 1。94894227引用[1] 亚瑟·阿佩尔对机器绘制的立体图进行着色的一些技巧在AFIPS，1968年。4[2] Yousef Atoum ， Mao Ye ， Liu Ren ， Ying Tai ， andXiaoming Liu.用于弱光图像增强的色彩注意力网络。在CVPRW，2020年。2[3] Mallikarjun B R 、 Ayush Tewari 、 Tae-Hyun Oh 、 TimWeyrich、Bernd Bickel、Hans-Peter Seidel、HanspeterPfister 、 Wojciech Matusik 、 Mohamed Elgharib 和Christian Theobalt 。 神 经 人 脸 反 射 场 的 单 目 重 建 在CVPR，2021年。2[4] Ziqian Bai ， Zhaopeng Cui ， Jamal Ahmed Rahim ，Xiaoming Liu，and Ping Tan.深层面部非刚性多视图立体。在CVPR，2020年。四五七八[5] Jonathan T Barron和Jitendra Malik。形状、照明和着色的反射率。PAMI，2015年。2[6] Bernhard Egger 、 Sandro Schonborn 、 Andreas Schnei-der 、 Adam Kortylewski 、 Andreas Morel-Forseter 、Clemens Blumer和Thomas Vetter。用于人脸图像分析的遮挡感知3D变形模型和照明先验IJCV，2018年。2[7] Kyle Genova，Forrester Cole，Aaron Maschinot，AaronSarna，Daniel Vlasic和William T.弗里曼。3D变形模型回归的无监督训练在CVPR，2018年。2[8] 伊恩·古德费洛、让·普盖特-阿巴迪、迈赫迪·米尔扎、许冰、大卫·沃德-法利、谢尔吉尔·奥扎尔、阿伦·库维尔和约舒亚·本吉奥。生成性对抗网。NeurIPS，2014。4[9] Ralph Gross 、 Iain Matthews 、 Jeffrey Cohn 、 TakeoKanade和Simon Baker。多个PIE。图像和视觉计算，2010年。五、六[10] Andrew Hou ， Ze Zhang ， Michel Sarkis ， Ning Bi ，Yiying Tong，and Xiaoming Liu.对高保真度的脸重新照明与现实的阴影。 在CVPR，2021年。 一二三五六 7[11] James T.卡吉亚渲染方程。在SIGGRAPH，1986中。2[12] Tero Karras ， Timo Aila ， Samuli Laine ， and JaakkoLehtinen.GAN的逐步增长，以提高质量，稳定性和变化。在ICLR，2018年。五、八[13] Tero Karras Samuli Laine和Timo Aila一个基于样式的生成器架构，用于生成对抗网络。在CVPR，2019年。6[14] Hiroharu Kato 、 Yoshitaka Ushiku 和 Tatsuya Harada 。Neu- ral 3D网格渲染器。在CVPR，2018年。2[15] 迪德里克·金马和吉米·巴。Adam.一种随机优化方法。见ICLR，2014年。5[16] Ha Le和Ioannis Kakadiaris。具有深度重发光人脸图像的光照不变人脸识别。在WACV，2019年。一、二[17] 李健熙和李成焕用于高保真3D人脸重建的不确定性感知网格解码器。在CVPR，2020年。2[18] Jinho Lee ， Raghu Machiraju ， Baback Moghoun ， andHanspeter Pfister. 3D人脸和光照使用双线性照明模型从单个照片中EGSR，2005年。2[19] 陈立，周坤，林志颖。基于人脸先验的内在人脸图像分解。2014年，在ECCV。2[20] Tzu-MaoLi ， MiikaAittala ， Fre´ doDurand ， andJaakkoLehti-nen.通过边缘采样的可微蒙特卡罗射线追踪。SIGGRAPHAsia，2018. 2[21] Yijun Li ， Ming-Yu Liu ， Xuting Li ， Ming-HsuanYang，and Jan Kautz.一个封闭形式的解决方案的照片真实感图像风格化。在ECCV，2018。2[22] 林江珂、袁毅、邵天佳、周坤。使用图卷积网络从野外图像进行高保真3D人脸重建在CVPR，2020年。2[23] 凤琉，陈鸾，刘小明。完全理解通用对象：建模、分割和重构。在CVPR，2021年。2[24] Shichen Liu，Tianye Li，Weikai Chen，a