每张桌子上的光舞台：使用网络摄像头捕获和重新照亮主题的新方法

1每张桌子Soumyadip Sengupta Brian Curless Ira Kemelmacher-Shlizerman Steve Seitz华盛顿图1：（a）灯光舞台是一个大型球形装置，用于使用多个灯光和摄像机捕获和重新照亮主题[21]。(b)我们展示了任何监视器都可以通过捕捉用户的面部外观来用作光舞台，网络摄像头在监视器上（c）捕获的图像和（d）用先前未看到的照明合成地重新照亮的图像摘要每当你坐在电视机或显示器前，你的脸就会被随时间变化的光线模式照亮。本文提出了使用这种随时间变化的照明与任何新的照明条件下，你的脸合成重新照明。在这样做时，我们从Debevec等人的灯光舞台工作中获得灵感。[4]，他首先展示了在受控照明环境中重新照亮被捕获的人的能力。而现有的光阶段需要昂贵的，房间规模的球形捕获龙门架，并存在于世界上只有少数实验室，我们演示了如何获取有用的数据，从一个正常的电视或桌面显示器。代替使用户经受不舒服的快速闪光模式，我们对用户观看YouTube视频或其他标准内容的图像进行操作。我们在给定用户的图像和监视器模式上训练深度网络，并学习预测该用户在任何目标照明（监视器模式）下的图像。实验评估表明，我们的方法产生逼真的重光照结果。视频结果可在grail.cs.washington获得。©2019Light_Stage_on_Every_Desk.保留所有权利。1. 介绍由Debevec等人首先引入的光舞台。[4]，是一种在几乎任何照明条件下捕获和渲染人类主体的仪器。大多数灯光舞台由房间规模的球形阵列的明亮闪烁的彩色灯光和摄像头它们被广泛用于电影特效[5，2，1，21，15]，体积媒体[25，6]，总统肖像[12]，并为训练计算机视觉重新照明算法[18，24，19，9，13，20，10]提供丰富的数据不幸的是，很少有研究人员能够使用光舞台，因为世界上只有少数几个。此外，光级数据集（训练重照明算法所必需的）不是公开可用的。本文的目标是民主化的光舞台捕捉和新的重新照明算法的发展我们的关键见解是，在显示器或电视上观看视频的简单行为会在你的脸上发送光线模式通过分析这些图案，我们可以以类似于光舞台的方式实现面部重新照明。从我们每天使用的显示器和我们已经观看的内容捕获“光舞台”数据的能力例如，想象一下，通过分析过去10分钟内通过监视器照明的面部外观变化，改善视频通话中面部照明的方式。然而，它也带来了一些新的挑战，即：1. 被动照明与主动照明：我们希望避免迫使用户观看闪烁的光模式，而是对人们通常观看的自然的、时变的内容进行操作2. 运动：与时变光图案相结合的用户头部运动使配准问题复杂化（与发送白帧以实现光流的传统光台技术相反）。24202421不It=wiI3. 视野：显示器仅从有限的视野提供正面照明。4. 亮度：我们受到显示器相对于房间照明的亮度的限制5. 近场：监视器是近端光源，并且不模拟远距离照明。在本文中，我们将解决这些挑战中的前两个，有效地将每个桌面显示器转换为一个光舞台。我们表明，由此产生的数据能够实现新的重新照明算法和应用，如改善视频通话的面部照明。虽然我们相信未来的研究可以提高工作范围，但我们的方法最适合光线昏暗的房间或明亮的显示器。为此，我们提出了一种深度网络，该深度网络将人脸图像和相应的源模式（监视器上的图像）作为输入，并在所需的目标模式下产生相同人脸的图像。该网络使用观看（已知）监视器视频的移动的人的图像来训练。为了针对用户运动进行归一化，我们找到了面部大致处于相同姿势但具有不同监视器模式的图像对。然后，我们训练网络，使用感知，周期一致性和基于PatchGAN的对抗性损失[27]，用另一个的模式重新照亮这对图像的第一个图像。我们将照明作为一种风格处理，并使用自适应实例归一化（AdaIN）[7]将照明信息注入我们的深度网络。AdaIN的参数是通过多层感知器从输入和目标照明模式中学习的。我们在各种场景和捕捉上展示最先进的结果。在下面的部分中，我们定义问题和参考相关的工作，以及折叠相关的工作到后续部分。2. 问题定义照明来自传统监视器或电视的问题先前的研究还考虑使用监视器[3，28]或投影屏幕[16]作为光源，以实现静态对象的重新照明。相比之下，我们的方法适合于重新照亮视频，例如以改善YouTube或视频通话中的面部外观。第二应用是使游戏玩家或监视器前面的其他用户随着反向照明方法的发展，从面部视频中解码屏幕内容可能成为可能[14];性能重新照明提供了一种挫败这种隐私攻击的方法。3. 显示器作为灯光舞台在我们的设置中，受试者坐在监视器前面，同时被动地（并且主要地）被屏幕内容照射，例如，一段YouTube视频图1（b）说明了这个简单的场景。我们记录下屏幕上显示的帧和同步的摄像头视图。结果是一组屏幕（照明）图像L和对象I的对应图像。后来，在仍然捕捉屏幕和主题的同时，我们试图重新照亮主题。这意味着在测试时，我们有源照明Ls、源图像Is和目标照明Lt，并寻求产生重投影图像It。3.1. 线性基线乍一看，这个问题和解决办法似乎很简单.实际上，如果对象完全静止并且我们遵循一次照亮一个像素（或非重叠像素组）的光舞台方法，则我们可以简单地求解产生目标照明的输入光的加权组合：Lt=Σwi Li=Lw，（1）性能重新照明问题[21]是捕获可以合成重新照明的移动对象的其中w我是权重向量[w1. wN ]的T.新的目标照明。具体地，给定对象的一组输入图像I=[I i…I N]，输入光照贴图L=[L1…... L N]，前给定非相干光传输的线性度（和af-对于相机响应线性化），我们可以将那些相同的权重应用于输入图像以获得重新照明图像：t tdict每个输入图像Ii如何出现在目标Li下，到Σi产生重新点亮的图像序列1N我It=[It... It]。 (The代表Li的表示依赖于实现）。虽然表演重新照明限于重新照亮被捕获的特定人，但是许多解决方案实现非常详细的、依赖于视图的效果和电影质量的输出。相比之下，肖像重新照明方法对对象I的单个图像进行操作，将其变换为目标光Lt下的重新照明图像It。虽然早期的深网方法利用合成数据[17，26]，但大多数最先进的技术现在依赖于用于肖像重新照明的光舞台数据[18，24，19，9，13，20，10]。肖像重新照明方法需要跨越广泛范围的人的训练数据在本文中，我们着重于性能重照明如果像素组设置为1，则求解w（L是单位矩阵），但是对于任意照明序列，我们可以计算最小二乘最优权重：w=L+Lt（3）其中L+是L的伪逆。 注意，在这个线性公式中，我们不需要源照明L s，或者甚至源图像Is，来生成结果I t。这种线性方法的关键假设是主体完全静止，这在实践中是不正确的。光舞台方法通常通过要求主体保持（相当）静止或使用非常高=Iw.（二）2422×图2：我们提出的架构由一个U-Net和一个光编码器组成，它为每个输入和目标光（监视器图像）估计一个256维的潜在子空间然后，它被用于解调3x3卷积核的权重，类似于自适应实例归一化（AdaIN）层，如StyleGANv2 [8]中所提出的该网络使用L1，感知，对抗和循环一致性损失函数进行训练帧速率相机，然后在捕获期间引入白色帧（所有灯打开）。这允许光流配准所有图像以补偿小的主体运动。在我们的设置中，我们使用不受控制的图像（没有注入白色帧）和以自然方式移动他们的头部（不需要保持静止）的受试者，同时在常规相机前观看该图像。3.2. 我们的方法为了解决在测试时利用照明和图像对的同时受试者的自然头部运动的挑战It=G（Is，Ls，Lt）（4）我们从不依赖于Ls的单图像肖像重新照明技术中获得灵感，并概括为将Ls作为输入（第3.2.1节）并处理数据中的头部运动（第3.2.2节）。该运动尤其具有挑战性，因为我们具有不受控制的照明和捕获的连续流，但没有像素对准的源和目标图像对形式的地面实况超级视觉，即，Is和It。相反，我们在具有大致相似姿势的所有图像对上进行训练，并设计不需要精确对齐的网络损耗以产生良好的结果。请注意，单图像方法[18，20，13]是在仔细配准的数据上训练的，以概括和重新照亮具有未知光源照明的任何图像。我们的方法适合于没有注册数据的单个捕获，但在测试时具有可用的源照明。3.2.1网络架构我们采用了一个U-net架构（如图2所示），类似于Sun等人 [18]使用的架构。U-Net编码器对图像进行四次下采样，每次下采样因子为2，以获得潜在特征空间。U-Net解码器通过双线性上采样扩展这些功能，然后3 3卷积。在解码器的每个步骤中也使用来自编码器的跳过连接。激活块涉及像素归一化，随后是可学习的ReLU。最近的现有技术的重新照明方法以不同的方式并入照明。Sun等人。 [18]简单地将环境映射连接为潜在子空间中的通道，而Wang等人。[20]在U-Net解码器的每个级别调制图像特征，从而产生更好的结果。我们的方法受到后者的启发，尽管我们的整体架构非常不同，因为Wang等人需要正常和反照率图进行训练。如前所述，与现有的单图像重新照明方法不同，除了目标照明Lt之外，我们还具有源照明L s作为输入。我们采用单个我们将光编码器应用于Ls和Lt，将两个代码连接起来。这些代码，然后分别用于解调，在所有解码器的水平，EL，除了最高分辨率的卷积核的权重。MLP用于预测解调卷积核所需的权重和偏置。我们根据经验观察到，这种实现比使用原生自适应实例规范化（AdaIn）[7]层产生的伪影更少3.2.2培训由于数据集中的头部运动，我们没有在不同照明条件下的受试者的像素对齐图像相反，我们会找到具有相似（尽管不完全相同）姿势的成对图像特别是，我们将在FFHQ [22]上预训练的面部解析网络应用于每个图像，然后找到每对图像，其中面部片段之间的交集大于并集大于92%。每对（Is，It）连同对应的照明（Ls，Lt）-起用于监督列车-2423·×G·−×L1×不不1的网络G。我们定义了一组损失，以鼓励生成的图像It=G（Is，Ls，Lt）匹配监督It。首先，我们定义L1和感知损失：垂直视场。对于相机，我们使用了一部iPhone 8，在显示器后面安装了三脚架，用于一些实验，而三星S10+用于其他实验，证明了我们的方法适用于不同类型的相机和摄像头。L=I−I，（5）监测器我们假设监视器和摄像头是同步的LP=F（It）−F（It）2。（六）其中，F（）是多尺度深度特征提取器[23]。对于正则化，使用循环一致性损失：LC=Is−G（It，Lt，Ls）1。（七）由于未对准，上述损失通常导致模糊的重新点亮的图像。考虑到它们之间的照明差异，用光流配准对是困难的。类似地，面部关键点检测在监视器照明的相对低光状态中是不准确的，使得难以获得准确的扭曲。为了处理这种模糊，我们引入了一个对抗性损失，其中将重映图像It的块与块进行比较在I测试中。我们使用PatchGAN [27]D，它将每70个补丁分为真实或虚假。我们使用LS-GAN [11]框架来训练我们的生成器G和判别器D。对于生成器更新，我们在G的参数上最小化：minλL1LL1+λPLP+λCLC+λD（D（I（t）−1）2，（8）其中每个损失依赖于It=G（）。对于鉴别器更新，我们在D的参数上最小化：min（D（It）1）2+（D（It））2.（九）D续费 每个输入图像分辨率为480 320，照明分辨率为18 32。输入图像被裁剪到对象的头部以限制背景的影响。我们使用λ L1=1，λ P=0。1，λ C=0。5且λ D= 0。1 .一、 我们使用Adam优化器训练生成器和鉴别器，学习率为10−3和10−6，批量大小为1。4. 实验评价捕获我们的设置包括一个计算机显示器和一个摄像头在一个昏暗的房间（如图1b所示）。一个人在监视器上观看YouTube视频，同时他们的外表被相机捕获。在我们的实验中，我们关闭房间中的灯，或保持低光，并假设用户相对靠近显示器（约30cm）以获得良好的信噪比。我们测试了32英寸（LG）和27英寸（宏碁）显示器尺寸。较大的显示器是首选，以允许更戏剧性的照明效果，但较小的尺寸也可以工作。322424例如，在一个实施例中，通过在捕获序列的开始和结束时闪烁全白帧，并将监视器和相机设置为以30fps操作。我们关闭自动对焦和曝光，并避免任何后处理（例如，夜间模式），其提高了SNR但使同步照明和外观信息失真整个设置很容易被他们家中的另一个人复制。为了评估我们的方法，我们捕获了5个人观看YouTube视频的19个序列，并使用两个协议进行评估。个人A被7个不同的YouTube视频捕获13次，个人B被8个不同的视频捕获9次。所有视频均在不同的日期/时间，在不同的环境照明和面部条件下捕获。个体C、D和E各被捕获一次，其中D和E使用27”监视器和Samsung S10+相机在其自己的家中捕获自己 每个捕获的序列包括一个训练视频，然后是2个测试视频：1）在监视器上移动模式（以测试定向照明）和2）随机YouTube剪辑。两个评价方案为：方案1评估典型的光载物台设置。在测试时，我们用以前看不见的照明重新照亮预先捕获的用户序列（这是协议2评估在测试时间期间对人和照明条件的不可见实例的泛化。给定一个人在一段时间内的多个捕获序列，我们训练重新照明模型，并在具有先前未见过的照明的新用户序列上对其进行测试。注意，在测试时间期间人的面部反射率可以与训练序列的面部反射率不同。该协议可用于在视频通话期间重新照亮人。基线我们的方法的潜在基线是性能重新照明或肖像重新照明方法。性能重新照明通常假设线性重新照明模型与在光舞台中捕获的特定帧上的光流相结合。由于我们在观看常规视频的同时捕获个人由于自然的人体运动，线性模型（在第3.1节中描述）无法产生良好的结果，因此我们省略了主要论文中的结果（见附录）。因此，我们专注于肖像重新照明作为我们的基线与警告，这样的单图像的方法是开发了一个不同的应用铭记。他们经过培训，可以跨多个人工作，将照明建模为球形环境贴图，并且只需要图像作为输入。2425·相比之下，我们可以访问输入图像和源照明，并且我们将照明建模为视频帧。线性模型RSun我们平均绝对误差（%）3.37%百分之三点一四3.35%表1：人体模型序列的错误（无未对准）。在理想情况下，我们的RSun实现的性能符合预期。Sun等人[18]是一种最先进的单幅图像肖像重新照明算法。它是在OLAT（一次一盏灯）数据集[18]上训练的，该数据集由多个人的灯光舞台图像组成。Sun等人的网络由一个U-网，预测两个重光图像和光源照明。它是在具有两个不同照明条件的对齐图像对上训练的它使用L1损失的重新照明图像和L2损失的预测照明，以及重建损失。由于数据和模型都不可用，我们重新实现了Sun等人介绍的网络架构。并在与我们的算法相同的训练数据上训练它。我们使用完全相同的损失函数提出了孙等人。.我们将此实现称为“RSun”。对于完全对齐的数据（人体模型序列），RSun产生了良好的结果，正如预期的那样（表1）。然而，RSun在我们的其余数据集上表现较差即使在姿态匹配之后，我们的数据也有轻微的未对准，这可能导致Sun等人的过度拟合。我们注意到，重建损失是特别成问题的，因为在重建路径期间，输入和目标精确地对准，但在重新照明路径期间它们不是。从RSun的失败中汲取灵感，我们引入了一组不同的损失函数，可以处理未对准。我们保留了重新照明图像上的L1损失和预测照明上的L2损失，并去除了重建。算法PSNR（越高越好）RMSE（越低越好）LPIPS[23]（越低越好）RSun24.510.00650.2718太阳+24.310.00670.1684我们25.210.00540.1537表2：我们报告了19个捕获序列的平均PSNR、RMSE和LPIPS [23]方案1：输入图像出现在训练数据中，目标照明不可见算法PSNR（越高越好）RMSE（越低越好）LPIPS[23]（越低越好）太阳+23.140.00640.1814我们26.360.00340.1417表3：我们报告了8个捕获序列的平均PSNR、RMSE和LPIPS [23]协议2：输入图像和目标照明不是训练数据的一部分。能量损失然后，我们添加感知损失方程6、循环一致性损失方程7和具有判别器D（）的对抗性损失，类似于我们的方法。在许多示例中，该算法比RSun显著改进。我们的方法和Sun+之间的区别在于照明如何融入网络架构。RSun，Sun+和我们提出的方法之间的比较有助于我们理解损失函数和网络架构如何有助于提高relit结果的质量4.1. 定性和定量比较我们提出了定性和定量的比较。定量评估提供了一些挑战，因为我们在测试时间，给定目标照明和利用该照明捕获的面部，我们从训练序列（在协议1中）或测试序列（在协议2中）中找到输入面部，其在面部解析中具有最大重叠，即，最相似的姿势即使在找到最接近的姿势匹配之后，面部也不完全相同，从而击败了RMSE等措施相反，我们使用感知测量LPIPS [23]来评估在相同照明下捕获的参考图像LPIPS也期望对齐的图像，但比RMSE对未对齐更鲁棒。由于使用具有VGG主干的LPIPS作为损失函数，因此使用AlexNet主干进行评估。方案1：输入图像出现在训练数据中，目标光不可见。在图3中，我们提出了一个定性的比较，我们的方法与RSun和Sun+。在表2中，我们在所有19个捕获的序列上呈现感知相似性得分LPIPS（越低越好）、PSNR（越高越好）和RMSE（越低越好）图3中的定性和表2中的定量评估均显示我们的结果显著优于RSun和Sun+。方案2：输入图像和目标光不是训练数据的一部分。在这里，我们只考虑单独的A和B，每个有13和9个捕获的序列。然后，我们为A和B中的每一个创建4个评估设置，将1个序列作为测试集，并将其余序列作为训练集的一部分。与训练数据相比，测试数据在不同的日期/时间捕获，具有不同的YouTube视频。在表3中，我们通过报告LPIPS、RMSE和PSNR得分来呈现与Sun+的定量比较，定性评价在图4中呈现。我们表明，我们的方法也可以通过改变输入图像上的光线方向和色调，在训练过程中看不见执行重新照明。这意味着它可以被部署为执行实时重新照明，例如，在变焦视频通话期间。改善视频通话的照明。对于在视频通话期间重新照亮面部的应用，环形光图案是生成良好照亮的面部的良好选择在图5中，我们2426输入目标我们的Sun+图3：与遵循方案1的Sun+的定性比较，其类似于光台测试设置，即，输入图像出现在训练数据中，而目标照明不可见。显示一些图像实例。 我们观察到重燃的-输入目标我们的Sun+图4：按照方案2即输入图像和目标照明不是训练数据的一部分。年龄保持良好的照明并且在整个视频中经历最小的时间变化。这遵循协议2，即两者2427·图5：改善视频通话的照明。在光线不足的房间中进行视频通话期间，面部的照明可能会随着监视器上的内容（顶行）而变化。我们可以用环形光图案重新照亮视频，产生时间上一致的良好照亮的图像（底行）。图6：消融研究w.r.t.损失函数感知损失和对抗性损失都有助于提高重映图像的质量，而循环一致性损失有助于保持输入图像的精确姿态。输入图像和照明在训练期间不可见。5. 消融研究我们的数据处理，损失函数和神经架构的组合，帮助我们实现高质量的relighting结果，从照片捕捉与监视器发射照明。在这里，我们分析每个组件如何影响结果的质量。我们另外在不使用（a）对抗损失的情况下训练我们的网络，其中具有鉴别器D（），(b)Eq.中的感知损失6，和（c）循环一致性损失由方程式7分开在表4中，我们比较了每个损失函数在3个捕获的序列上。图6中的视觉结果还示出了在没有感知和对抗性损失的情况下结果降级另一方面，在不存在循环一致性损失的情况下，重新照明结果改变人的表情我们的网络架构将源和目标监视器照明作为输入。我们在图7中示出，知道源监视器照明可以提高重新照明结果的质量。鲁棒性和局限性虽然我们的设置在黑暗的房间中运行效果最好，但我们观察到它仍然可以处理模式2428输入目标我们的（不含源）光图7：源和目标监视器照明都输入到我们的网络。使用光源照明可以提高质量。图8：虽然我们的重新照明网络是在具有中性表情的近正面人脸上训练的，但它在测试期间处理看不见的然而，当输入图像具有与正面（底行）的大的姿态变化时，其不太准确。背景照明的数量，只要它不被区分，算法我们0.1311无感知损失0.1384无循环一致性损失0.1493无对抗性损失0.1523无光源0.1374表4：在3个捕获序列上遵循方案1的具有感知相似性LPIPS[23]的消融研究，即，输入图像出现在训练数据中，而目标照明不可见。对这个主题的叙述。我们根据经验观察到，平均而言，许多YouTube视频作为照明源表现良好。某些类别的视频表现明显更好，例如，视频具有大的摄像机运动，因为它们提供更大的照明变化。相反，具有有限照明变化的视频一个人说话或黑暗的场景，不表现良好。我们的方法也可以在测试时处理看不见的表达式。在图8的顶行中，我们示出了一个人微笑的例子然而，我们的方法在输入图像中存在大的姿态变化时远非完美。投射阴影在再现时与地面实况相比可以是较低对比度的，例如，在图8底行中的鼻子周围在视频通话期间应用我们的重新照明网络产生大多数均匀且时间稳定的结果，但是当输入照明的亮度显著下降时可能表现出闪烁添加更好的面部对齐、表情标准化和光照数据增强可能会使未来的改进成为可能。6. 结论本文介绍了一种使灯光舞台捕获大众化的技术，用于重新照明应用程序，只使用桌面上的显示器。虽然我们的方法不提供传统实验室光舞台的全视场、动态范围和全身覆盖，但它易于部署并显著扩展了对光舞台数据和算法的访问。此外，我们展示了如何被动地训练重新照明模型，例如，从用户观看普通电影的镜头我们的重新照明的方法是强大的用户运动，并产生逼真的结果。伦理我们的主要目标是改善视频和视频通话的照明。我们的方法也可以用来提高隐私，通过使其更难推断从用户的脸反射的屏幕内容。然而，我们注意到，合成图像重新照明是图像操纵的一种形式，并且也可以促进合成图像用于负面目的。伪造检测和预防是一个重要的和正在进行的工作主题。致谢这项工作得到了UW Reality Lab，Facebook，Google，Futurewei和Amazon的支持。LPIPS[23]（越低越好）2429引用[1] Oleg Alexander，Graham Fyffe，Jay Busch，XuemingYu，Ryosuke Ichikari，Andrew Jones，Paul Debevec，Jorge Jimenez，Etienne Danvoye，Bernardo Antionazzi，et al. 数字ira：创建一个实时照片真实的数字演员。ACM SIGGRAPH 2013海报，第1-1页。2013. 1[2] Oleg Alexander、Mike Rogers、William Lambeth、Jen-Yuan Chiang 、 Wan-Chun Ma 、 Chuan-Chang Wang 和Paul De- bevec。数字艾米丽项目：实现逼真的数字演员 。 IEEE Computer Graphics and Applications ， 30（4）：20-31，2010. 1[3] 放 大 图 片 作 者 ： Douglas E. 放 大 图 片 作 者 ： DavidH.Salesin和Richard Szeliski。环境抠图扩展：朝向更高的准确性和实时捕捉.在ACM SIGGRAPH 2000的会议录，计算机图形会议录，年度会议系列，第121-130页中 ACM Press / ACM SIGGRAPH / Addison WesleyLogman，2000年7月。ISBN 1-58113-208-5。2[4] Paul Debevec 、 Tim Hawkins 、 Chris Tchou 、 Haarm-Pieter Duiker、Westley Sarokin和Mark Sagar。获取人脸的反射场。在Proceedings of the 27th annual conferenceon Computer graphics and interactive techniques，pages145-156，2000中。1[5] 保罗·德贝维克、安德烈亚斯·温格、克里斯·周、安德鲁·加德纳、杰米·韦斯和蒂姆·霍金斯。一种用于真人合成的照明ACM Transactions on Graphics（TOG），21（3）：547-556，2002. 1[6] Kaiwen Guo ， Peter Lincoln ， Philip Davidson ， JayBusch ， Xueming Yu ， Matt Whalen ， Geoff Harvey ，SergioOrts-Escolano ， RohitPandey， JasonDourgarian，Danhang Tang，Anastasia Tkach，AdarshKowdle ， Emily Cooper ， Ming-song Dou ， SeanFanello，Graham Fyffe，Christoph Rhemann，JonathanTaylor，Paul Debevec，and Shahram Izadi.可重新点燃的：用逼真的重新照明捕捉人体的体积性能。 ACMTrans. Graph. ，38（6），Nov.2019年。1[7] Xun Huang和Serge Belongie。实时任意样式传输，具有自适应实例规范化。在IEEE计算机视觉国际会议论文集，第1501-1510页，2017年。二、三[8] Tero Karras ， Samuli Laine ， Miika Aittala ， JanneHellsten，Jaakko Lehtinen，and Timo Aila.分析和改进StyleGAN的图像质量。在Proc. CVPR，2020中。3[9] Chloe LeGendre、Wan-Chun Ma、Rohit Pandey、SeanFanello 、 Christoph Rhemann 、 Jason Dourgarian 、 JayBusch和Paul Debevec。从不同的人格特质中学习启示。SIGGRAPHAsia 2020技术交流，第1-4页2020. 一、二[10] BR Mallikarjun ， Ayush Tewari ， Tae-Hyun Oh ， TimWeyrich，Bernd Bickel，Hans-Peter Seidel，HanspeterPfister ， Woj-ciech Matusik ， Mohamed Elgharib ， andChristian Theobalt.神经人脸反射场的单目重建。arXiv预印本arXiv：2008.10247，2020。一、二[11] Xudong Mao ， Qing Li ， Haoran Xie ， Raymond YKLau，Zhen Wang，and Stephen Paul Smolley.最小二乘生成对抗网络。在IEEE国际计算机视觉会议论文集，第2794-2802页，2017年。42430[12] AdamMetallo ， VincentRossi ， JonathanBlundell ，GunterWaibel，Paul Graham，Graham Fyffe，XuemingYu，and Paul Debevec.扫描并打印总统奥巴马的3d肖像。在SIGGRAPH 2015中：Studio，第1-1页。2015. 1[13] ThomasNestmeyer，Jean-FrancoisLalonde，IainMatthews，and Andreas Lehrmann.学习物理指导的脸重照明下的定向光。在IEEE/CVF计算机视觉和模式识别会议论文集，第5124-5133页，2020年。一、二、三[14] Ko Nishino和Shree K.纳亚尔重新点亮的眼睛ACM事务处理图表，23（3）：704-711，Aug. 2004. 2[15] Pieter Peers，Naoki Tamura，Wojciech Matusik，andPaul De- bevec.使用反射转移的后期制作面部性能重新照 明 。 ACM Transactions on Graphics （ TOG ） ， 26（3）：52-es，2007年。1[16] Yoav Y Schechner ， Shree K Nayar ， and Peter NBelhumeur. 多 路 复 用 以 获 得 最 佳 照 明 。 IEEETransactionsonpatternanalysisandmachineintelligence，29（8）：13392[17] Soumyadip Sengupta ， Angjoo Kanazawa ， Carlos DCastillo，and David W Jacobs.Sfsnet：学习野外人脸的形状、反射率和照度。在IEEE计算机视觉和模式识别会议论文集，第6296-6305页，2018年。2[18] Tiancheng Sun ， Jonathan T Barron ， Yun-Ta Tsai ，Zexiang Xu，Xueming Yu，Graham Fyffe，ChristophRhemann ， Jay Busch ， Paul E Debevec ， and RaviRamamoorthi.单图像肖像重照。ACM事务处理图表，38（4）：79-1，2019. 一、二、三、五[19] Tiancheng Sun ， Zexiang Xu ， Xiuming Zhang ， SeanFanello，Christoph Rhemann，Paul Debevec，Yun-TaTsai，Jonathan T Barron，and Ravi Ramamoorthi.光台超分辨率：连续高频再照明。ACM Transactions onGraphics（TOG），39（6）：1-12，2020。一、二[20] 王志波、于欣、卢明、王泉、陈谦、徐峰。通过显式多 反 射 通 道 建 模 的 单 图 像 人 像 重 照 明 。 ACMTransactions on Graphics（TOG），39（6）：1-13，2020。一、二、三[21] 安德烈亚斯·温格、安德鲁·加德纳、克里斯·周、乔纳斯·昂格尔、蒂姆·霍金斯和保罗·德贝维奇。用时间多路复用照明进行重新照明和反射率变换。ACMTransactions on Graphics （ TOG） ，24 （3 ） ：756-764，2005. 一、二[22] Changqian Yu ，Jingbo Wang，Chao Peng，ChangxinGao，Gang Yu，and Nong Sang. Bisenet：用于实时语义分割的双边分割网络。在欧洲计算机视觉会议（ECCV）的会议记录中，第325-341页，2018年。3[23] Richard Zhang 、 Phillip Isola 、 Alexei A Efros 、 EliShecht-man和Oliver Wang。深度特征作为感知度量的不合理有效性。在IEEE计算机视觉和模式识别会议论文集，第586-595页，2018年。四五八[24] Xuaner Zhang，Jonathan T Barron，Yun-Ta Tsai，RohitPandey，Xiuming Zhang，Ren Ng，and David E Jacobs.孔 特 征 阴 影 操 作 。 ACM Transactions on Graphics（TOG），39（4）：78-1，2020。一、二2431[25] XiumingZhang，Sean Fanello，Yun-Ta Tsai，TianchengSun ， Tianfan Xue ， Rohit Pandey ， Sergio Orts-Escolano，Philip Davidson，Christoph Rhemann，PaulDebevec，et al.用于重新照明和视图合成的神经光传输 。 ACM Transactions on Graphics （ TOG ） ， 40（1）：1-17，2021。1[26] Hao Zhou，Sunil Hadap，Kalyan Sunkavalli，and DavidW Ja-cobs.深单图像肖像重新照明。在IEEE/CVF计算机视觉国际会议论文集，第7194-7202页，2019年。2[27] Jun-Yan Zhu ， Taesung Park ， Phillip Isola ， Alexei AEfros.使用循环一致对抗网络的不成对图像到图像翻译。在IEEE计算机视觉国际会议论文集，第2223- 2232页，2017年。二、四[28] 道格拉斯·E.放大图片创作者：Dawn M. Werner，BrianCurless ， and David H. 销 售 环 境 抠 图 和 合 成 。在Proceedings of ACM SIGGRAPH 99，Computer GraphicsProceedings ， Annual Conference Series ， 第 205-214 页中 。 ACM Press/ACM SIGGRAPH/Addison WesleyLogman，1999年7月。2