野外多光照图像数据集

1野外多光照图像数据集LukasMurmann1Michae？ lGharbi1，2MiikaAittala1Fre？doDurand1MIT CSAIL1 Adobe Research21. 介绍图1.使用我们超过1000个场景的多照明图像数据集例如，我们的一个模型可以将输入图像重新照亮到一个新的光线方向。镜面高光对许多重光照算法构成了重大挑战，但我们的网络可以很好地处理。进一步分析见第4.2节。摘要在单个不受控制的照明下收集图像[42]使得核心计算机视觉任务（如分类，检测和分割）的快速发展[26，43，18]。但是，即使使用现代学习技术，许多涉及照明和材料理解的逆问题仍然过于严重不适定，无法解决。材料和光线的复杂相互作用是物体外观和计算机视觉许多领域的我们认为，在这一领域的研究是有限的数据集的稀缺性- 当前数据通常限于在实验室环境中捕获的单个样本，例如，[8，20]，或2D照片，不编码外观相对于光的变化[42]。虽然诸如灯光舞台的设置，例如，[10]，可以在变化的照明下捕获物体，它们很难移动，并且需要将所获取的物体完全封闭在载物台内。这使得很难在真实环境中捕捉在本文中，我们介绍了一个新的数据集的室内表面的照片在不同的照明。我们的目标是捕捉大规模的小场景（至少1,000个场景）。我们希望能够把捕捉设备带到任何房子，公寓或办公室，并在几分钟内记录一个场景。为此，我们需要一个紧凑的设置。这似乎与场景从不同方向照明的要求不一致，因为像灯光舞台[10]这样的设计需要在场景周围放置大量单独的我们通过使用间接照明和安装在伺服系统上的电子闪光灯来当闪光灯旋转时，它指向场景附近的墙壁或天花板，使用单一照明数据集求解。数据根本不包含必要的监控信号。众所周知，多照明数据集难以捕获，因此通常在受控环境中使用多个光源[10，53]或机器人机架[8，20]以小规模收集数据。这导致图像集合不能代表真实世界场景的多样性和复杂性。我们介绍了一个新的多照明数据集的1000多个真实场景，每个捕获的高动态范围和高分辨率，在25照明条件下。我们通过为三个具有挑战性的应用训练最先进的模型来展示该数据集的丰富性：单图像照明估计、图像重新照明和混合照明白平衡。形成间接的“反弹”光源。反射光成为场景的主要照明。我们还在场景中放置了一个铬和一个灰色球体，作为入射照明的地面真实测量值。我们的捕获过程每个场景大约需要五分钟，并且是全自动的。我们已经拍摄了超过1000个场景，每个场景都在25种不同的照明下，总共拍摄了25，000张HDR图像。每张图片都根据材料进行分割和标记。 据我们所知，这是第一个此类数据集：提供背景中的日常物品和照明变化。在第4节中，我们通过三个基于学习的应用程序展示了数据集的通用性和有用性：预测环境照度，重新照亮单个图像，并校正照片中不一致的白平衡。4080GT输入我们4081由多种颜色光源照明的摄影机。我们发布了完整的数据集，以及我们用于处理和浏览数据的工具集，以及训练代码和模型。2. 相关工作2.1. 多照明图像集在户外，天空和太阳是随时间变化的照明的自然来源。时间流逝数据集已经从网络摄像机[ 50，46 ]或视频集合[ 44 ]中“在野外”收获室内场景通常缺乏表现出显著变化的容易获得的照明源一些最常见的多照明图像集是闪光灯/无闪光灯对的集合[39，12，2]。这些图像对可以相对容易地在简短的两个图像突发中捕获，并实现有用的应用，如去噪，混合照明白平衡[22]，甚至BRDF捕获[1]。其他应用，如光度立体[51]或图像重新照明[10，53]，需要两个以上的图像才能获得可靠的结果。通常使用复杂的硬件设置和多个光源来获取具有两个以上光方向的数据集[10，20]。一个值得注意的例外，Mohanet al. [34]提出了一种用户引导的照明设计系统，其组合单个物体的若干照明。像我们一样，它们使用固定的电机控制光源和间接反射照明来获取图像，尽管在更严格的设置中，并且规模要小得多对于他们在用户辅助图像合成方面的工作，Boy- adzhievetal. [7]使用遥控摄像机，并手动在现场使用手持闪光灯。这种方法束缚了操作员，并使采集时间过高（他们报告每个场景20分钟）。此外，手持光源使得多次曝光HDR捕获困难。相比之下，我们的系统，灵感来自Murmann等人的工作。[35]，使用电机控制的反弹闪光灯，自动采样照明方向，使多曝光HDR捕捉简单。2.2. 材料数据库为了忠实地获取真实世界表面的反射率，通常需要在多个照明条件下观察表面。材料外观捕获的黄金标准是彻底照亮材料样品，并在每对视点和光线方向下对其进行拍照，将结果制成双向纹理函数（BTF）。反射率值可以在渲染时从这个大表中读取[8]。已经发表了各种BTF数据集[8，30，48]，但样本总数远远低于通常是当代基于学习的算法所需要的。关于简单、轻量级的硬件捕获系统[17]，存在丰富的文献此外，这些分散的小数据集的范围、质量和格式差异很大，难以统一使用。我们的便携式捕获设备使我们能够捕获比现有数据库多几个数量级的表面，我们一次记录整个场景Bell等[5，6]从互联网上收集了一个非常松散控制的材料照片的大型数据集，其中包含关于材料类别、估计反射率、平面性和其他属性的众包注释。受他们方法的启发，我们为我们的数据收集语义材料类分割，我们在第3.3节中详细介绍。与我们的不同，他们的数据集不包含照明变化。以前的工作已经研究了使用合成图像数据集进行材料估计[37，49]。但是，即使精心制作的合成数据集通常也不能很好地转移到真实场景中，因为场景复杂性，对象外观和图像形成仍然存在差异[40]。3. 数据集我们的数据集由1016个室内场景组成，每个场景在25个预定的照明方向下进行摄影，相对于相机在上半球进行采样。这些场景描绘了典型的家庭和办公室环境。为了最大限度地提高表面和材料的多样性，我们在场景中填充了各种各样的物体和杂乱的物体。图2显示了一系列场景。在以前作品的精神[34，35]，我们的照明变化是通过将集中的闪光光束指向房间的墙壁和天花板来实现的。从墙壁上反射回来的亮点成为虚拟光源，它是摄像机前面场景的主要照明源。我们可以快速，自动控制反弹光的近似位置，只需通过旋转一组标准化的方向闪光灯头（图3）。这说明需要在每次曝光之间手动重新定位物理光源[7，32]。我们的相机和闪光灯系统比专用光源更便携，这简化了其“野外”部署由反射闪光产生的照明的精确强度、清晰度和方向取决于房间的几何形状及其材料。我们通过在每张图像的底部边缘插入一对光探针来记录这些照明条件，一个反射铬球和一个塑料灰色球[9]。为了保持光探头和所观察场景的完整动态范围，我们所有的PHO-4082左闪闪现右闪锋面闪光材质贴图画金属塑料（透明）塑料纸、纸巾织物，布树叶食品陶瓷皮革橡胶、乳胶花岗石大理木材玻璃图2.我们数据集中的八个代表性场景。每个场景都是在25个独特的光线方向下拍摄的，其中4个在图中显示。我们努力在数据集中包含各种房间和材质类型材料类型使用密集的分割掩码进行注释，如右图所示。用括号内的曝光拍摄拓扑图。作为后期处理，我们对光探针进行注释，并使用众包为每个场景收集密集的材质标签，如第3.3节所述。3.1. 图像捕获我们的捕捉设备包括一个无反光镜相机（索尼α6500）和外部闪光灯单元（索尼HVL-F60 M），4083我们配备了两个伺服电机。伺服系统和摄像头连接到一台笔记本电脑上，笔记本电脑会自动瞄准闪光灯，并按照预先设定的顺序进行曝光24mm镜头提供52毫米水平视野和36毫米垂直视野。在拍摄时，我们在图3所示的25个方向上旋转闪光灯，并为每个闪光灯方向拍摄3张图像曝光堆栈。我们关掉所有房间的灯，4084a）、（c）第（1）款图3.a）我们的大多数照片都是通过将闪光灯单元指向墙壁和天花板来照亮的b）一些照片是在直接闪光灯照明下拍摄的，其中光束与相机的视场c）我们数据集中使用的闪光灯方向，相对于相机观察方向和截头体（黑色）。在视图中看到的直接闪光照明的方向显示为红色，而完全间接的方向显示为蓝色。关闭百叶窗，使环境光的平均强度小于闪光灯照明强度的1%。为了完整起见，我们在关闭闪光灯的情况下捕获了一个额外的、仅用于环境的曝光堆栈。25个闪光方向均匀分布在上-使用光圈设置来控制包围曝光可能会导致不同散焦模糊的伪影。我们通过手动将相机聚焦到最佳深度来限制这种效果，并避免深度复杂度超过f/ 5景深的视点。六、合并曝光后，我们将通过匹配漫射灰色球体的强度来生成HDR图像灰色球体也用作白平衡的参考点。这在色彩鲜艳的房间中特别有用，否则可能会导致颜色偏移。3.3.数据集统计数据为了确保我们的数据能够代表许多真实世界的场景，我们在12栋住宅和办公楼的95个不同房间中收集了图像，这使我们能够捕捉到各种材料和房间形状。为了分析在整个数据集中发现的材料，我们获得了由人群工作者分割的密集材料标签，如图2和图4所示。这些注释的灵感来自Bell等人收集的材料注释。[5]，其公开的源代码构成了我们注释管道的基础。图4显示了我们数据集中的材料分布。特定房间类型的材料分布与无条件分布明显不同。为每个半球。在这些方向中的18个方向上，闪光灯光束的锥形落在相机的视野之外，并且因此，图像仅被来自反弹的二次照明照亮。在其余7个方向上，部分或全部图像直接由闪光灯照亮特别地，方向之一对应于典型的正面闪光照明条件。在我们目前的设置下，拍摄一组（78张曝光）大约需要五分钟捕获速度主要受闪光灯的回收时间限制（全功率时约为额外的电池扩展包或高压电池可以减少短脉冲的延迟我们发现它们在单个会话中捕获许多图像集时不太有用，其中散热成为限制因素。3.2. HDR处理每个光线方向的三次曝光都以5档增量进行分段，以避免阴影中的高光和过度噪声。最暗的帧以f/22 ISO 100曝光，中间曝光为f/5。6 ISO 200，最亮的图像以f/5记录。6ISO6400。快门速度保持在相机摄像头传感器在ISO100下有13位的有效动态范围（在ISO6400下有9位总体而言，我们的捕获策略允许我们重建具有至少20位动态范围的HDR图像例如，在厨房中，我们经常发现金属和木制表面，但很少有织物（不到5%的像素）。另一方面，卧室场景中38%的像素显示织物，但几乎不包含金属表面（不到4%）。4. 应用在本节中，我们将为三个长期存在的视力问题提供基于学习的解决方案：单图像照明估计、单图像重照明和混合光源白平衡。我们的模型基于标准的卷积架构，如U网[41]。对于所有的实验，我们规范化的曝光和白平衡的输入图像相对于灰色球。我们还在训练和测试时用黑色方块屏蔽铬和灰色球体，以防止网络直接使用这些信息。4.1. 从单个图像预测光照单帧照明估计是一个具有挑战性的问题，例如，当一个人想要合成将计算机生成的对象转换为真实世界的图像[9]。如果有足够的计划（如电影中的视觉效果），可以在拍摄背景的同时记录照明（例如，通过使用光探针）。这是很少的情况下，后验应用程序。特别是随着增强现实和混合现实技术的发展，非受控场景中的光照估计问题受到了越来越多的关注。b）、4085厨房餐厅卧室浴室输入我们的GT Gardner等人。输入我们的GT Gardner等人。百分百百分之五十0%的百分比油漆布/布木材金属陶瓷砖花岗岩/大理石玻璃其他（32类）无标签图4.众包材料注释显示，绘画表面，织物，木材和金属是我们数据集中最常见的环形材料，覆盖了所有像素的60%以上对于某些房间类型，材料分布明显不同于平均值。例如，在厨房中我们经常遇到木材（货架）和金属（电器），卧室场景显示织物的频率很高，浴室的材料分布偏向瓷砖和陶瓷。几种方法已经探索了室外图像[28，14，15，19，31]以及室内环境[13]的这个问题。注意到缺乏室内场景的可行训练数据，Gardner等。明确检测LDR光谱中的光源[52]。我们提出的数据集包括每个场景中的HDR光探针，这使得它独特地适合室内环境中的照明预测和其他逆渲染任务[44.1.1模型我们通过在来自我们数据集的256×256图像作物上训练卷积网络来解决单个图像照明预测我们要求网络预测一个16×16RGB的铬球，我们使用L2损失将其与我们的地面实况探测器进行比较256×256输入补丁由卷积、ReLU和Max序列处理。池化层，我们将空间分辨率减半，并在每次卷积后将特征映射的数量加倍。当空间分辨率达到1×1像素时，我们应用一个最终的全连接层来预测768个数字：这些数字被重塑为16×16RGB光探针图像。前-推测这些图像产生最终的预测环境，分段图。我们在补充材料中提供了网络详细信息。左灯右灯图5.作为我们数据集的第一个应用，我们训练了一个深度网络来从单个输入图像预测环境地图。我们的模型一致地预测地面实况环境地图的主导光方向。该模型成功地估计照明的基础上闪亮的物体（a和g）和漫反射器（例如，行f）。h）和i）显示了网络预测接近均值方向的低置信度输出的失败情况我们与Gardner等人（请忽略Gardner等人的垂直接缝。的结果。他们的模型使用了不同的球形参数化，我们将其重新映射到我们的坐标系中进行显示。）4.1.2合成合成对象图5显示了在一个保留的测试集上的一些合成结果。虽然我们的模型并不总是捕捉漫射全局照明的更精细的颜色变化，但它对主导光源的预测是准确的。图7显示了其中一个测试场景，其中合成了合成对象。合成的几何形状由我们预测的环境地图照亮请注意，图中可见的地面实况光探测器在推理过程中被屏蔽，因此我们的网络看不到a）、b）、c）、d）、e）、f）的g）的h）（一）4086输入我们的GT Gardner等人。图6.我们验证了我们的模型的能力，概括反弹闪光灯照明之外。最上面一行显示了一个带有常规房间灯光的办公室场景。底部两行显示了由柔光箱照明的场景，首先从右侧照亮，然后从左侧照亮。第二组结果表明，我们的模型可以从阴影中聚合信息来推断光源位置。4.1.3评价我们评估了我们的模型，我们的数据保持了测试子集，并将其与Gardner等人的最先进的照明预测算法进行了比较。[13 ]第10段。与他们的技术相比，我们的模型更准确地预测了反弹光源的方向（见图5）。相比之下，Gardneret al.的模型有利于更平滑的环境贴图，并且不太可能预测照明的方向为了进行视觉比较，我们将通过他们的技术产生的360个椭圆曲线扭曲到我们整个论文中使用的铬球参数化。为了量化铬球预测器的性能，我们分析了30个测试场景的光源的预测中心和真实中心之间的角距离我们的技术实现了平均角度误差二十六岁6mm（标准）dev. 10个。8分），显著优于Gard- ner等人。的方法，实现了平均误差为68。5mm（标准）dev. 三十八岁。4◦）。目视检查表明，我们的技术的剩余失败案例是由于左/右场景几何体的对称性、镜像，或者仅仅是随机选择的输入裁剪中缺少上下文（参见图5底部）。我们验证了我们的模型推广使用一般非反弹闪光灯照明下拍摄的一组小测试图片反弹闪光灯光源之外。该实验的结果示于图6中。4.2. 重光照获得场景的可重照明模型的鲁棒且直接的方法是在变化的照明下捕获大量基础图像，并且将新图像渲染为基础元素的线性组合。光台[10]根据这个原理工作。用200多幅基本图像，代表高频内容图7.我们使用我们的模型预测的环境地图来照亮虚拟对象，并将它们合成到我们的一个测试场景中。 框架底部的光探头显示了地面实况照明。(Note在将图像馈送到网络之前屏蔽掉这些探测）。场景难以尽管存在这一基本挑战，但先前的工作已经成功地利用了自然场景中光传输的规律性来从稀疏样本中估计传输算子[36，38，47]。最近的方法采用卷积神经网络来完成这项任务，有效地从合成训练数据中学习光传输的时间，并将重新照明所需的图像数量减少到少数[53]。在我们的工作中，我们展示了重新照明的结果，真实世界场景上的单个输入图像，其表现出具有挑战性的现象，例如镜面高光、自阴影和相互反射。4.2.1模型我们将单图像重照明转换为图像到图像的翻译问题。我们使用基于U-net [41]架构的卷积神经网络来从相机左侧照亮的图像映射到右侧照亮的图像（详见补充材料）。与4.1节一样，我们在对数域中工作，以限制网络内部激活的动态范围。 我们使用L1损失来比较relit输出的空间梯度和参考图像的空间梯度，从右边开始。我们发现这种梯度域损失产生更清晰的结果。它还允许网络更多地关注细节，而不会因全局强度缩放模糊性而过度惩罚低频偏移（左和右照明图像可能不具有相同的平均亮度，取决于房间几何形状）。4.2.2评价我们的模型忠实地合成镜面高光，自我和铸造阴影，以及合理的阴影变化。如果没有用于端到端解决方案的大规模训练数据集，有效的稻草人方法将是使用现有的4087n我们的端到端解决方案不强制执行这种明确的几何/材料分解，并产生更优越的结果。我们的模型产生的更多重新照明输出如图1和补充材料所示。4.3. 混合照明白平衡（a）（b）（c）（d）图8。我们的数据的第二个应用是使用单个输入图像学习图像重新照明。 训练后的模型合成-大小移动镜面高光（a，b，c）和漫射阴影（b，d），并正确渲染遮挡物（d）后面的阴影。对于基线结果，我们首先使用发布的模型估计法线和漫反射，然后重新渲染目标环境贴图照亮的图像照明技术，并将输入分解成可以被操纵用于重新照明的组件（例如，法线和法线）。我们提供了这样一个基线进行比较。它使用深度单图像正常估计[54]和学习的固有图像分解[24]的组合（见图8）。这两个组件在各自的领域都是最先进的，并且具有公开的源代码和训练模型该基线说明了将单个图像重光照问题分解为单独的逆渲染子问题的挑战。具体来说，主要来源的arti-事实包括：不正确或模糊的法线，不正确的表面处理，由于过于简单的朗伯着色模型。法线和反射率估计网络独立训练，以解决两个非常困难的问题，图像的白平衡包括中和由非标准光源引起的偏色，使得照片看起来被标准化（通常为白色）光源照亮。白平衡是欠约束的，通常通过建模和利用灯光和物体颜色的统计规律来解决。最常见的自动白平衡算法使简化的假设，整个场景是由一个单一的illuminant照亮。见[16]。这种假设在实践中很少 例如，室内场景可能表现出蓝色光的混合（例如，从通过窗户照亮场景的天空）和较暖的色调（例如，从房间先前的工作已经制定了一个局部灰色世界假设，以将白平衡推广到混合照明情况[11]，利用阴影与阴影中的光色差异。户外场景的阳光照射区域[25]，或闪光/无闪光图像对[33，21，23]。在这里，我们再次将白平衡作为监督学习问题来处理。因为我们的数据集包含具有多种照明条件的高动态范围线性图像，所以它可以用于通过线性组合来模拟广泛的新的混合颜色照明。我们exploit这个属性生成一个训练数据集的神经网络，消除不一致的偏色混合照明的照片。4.3.1混合光源数据生成为了创建一个输入/输出对的训练集，我们从多个尺度的场景中提取了256 × 256个补丁。 对于每个补丁，我们选择随机数量的光源n∈{1，. . .，4}。每个光指数对应于25个可用闪光灯方向之一，随机选择均匀没有替换。 我们用I1表示。. . ，在相应的图像中。对于每个光i，我们在[0，360]中使用色调和[0，360]中的饱和度对其颜色进行采样。5，1]，表示为正RGB增益向量αi，归一化为使得||αi||1= 1。我们通过在-3之间均匀地（在对数域中）采样标量曝光增益gi来+2停止。我们最终组装了我们的彩色输入贴片为线性组合：I =1nα gI.lems。 这可能比我们的端到端更有挑战性-ni=1我我我结束重新照明应用，也不必要的plausi-我们定义了类似的颜色校正塔，但与-重燃灯光。输出颜色增益：O=1ni=1 giIi。基线反照率基线法线基线我们输入目标40884.3.3结果我们的模型成功地消除了我们的测试集上的混合偏色我们的技术的主要局限性是它对肤色的泛化能力差，人眼对肤色特别敏感，但我们的静态室内场景数据集却没有。我们在图9和补充视频中展示了定性结果图9.第一行显示了来自保持测试集的图像上的混合白平衡结果。输入（左）是一个线性组合的几个（两个在这里）照明相同的场景下，根据不同的颜色和强度。参考图像（右）具有相同的能量，但没有偏色。我们的输出（中间）成功-完全消除了绿色和洋红色的变化。我们在数据集上训练的简单模型很好地推广到了看不见的真实RAW图像（第二行）。最明显的失败案例是肤色（第三行），这在我们的静态场景数据集中完全没有。4.3.2模型与重新照明问题类似，我们使用基于U-网的简单卷积网络[41]来预测来自混合照明输入的白平衡图像（补充中的详细信息）。为了减少未知数的数量并减轻全局尺度模糊性，我们对输入和目标图像进行对数变换，并将其分解为2个色度u，v和亮度分量l[3]：u= log（Ir+R）−log（Ig+R），（1）v= log（Ib+log）−log（Ig+log），（2）l= log（Ig+I g），（3）其中，=10−4，上标表示RGB颜色通道。我们的网络以u，v，l作为输入，并输出两个正确的白平衡色度分量。我们组装从l和预测色度的最终RGB输出，使用逆变换。我们的模型经过训练，以最大限度地减少色度差异的L25. 限制我们的捕获方法的一个局限性是，它需要良好的反弹表面放置在离现场不远的地方。这排除了大多数户外场景和大型室内房间，如礼堂。我们的捕捉过程需要场景保持静止几分钟，这使我们无法捕捉人类主体。与灯光舞台或机器人台架相比，我们的反射光源的位置因房间几何形状而具有更大的可变性，并且反射光比点光源的硬照明更柔和。最后，我们只捕获了25种不同的照明，这对于漫反射材料是足够的，但是对于高度镜面反射的材料是欠采样的。6. 结论我们介绍了一个新的数据集的室内物体的外观在不同的照明。 我们已经描述了一种基于间接反弹闪光的新颖捕获方法，其能够在紧凑的设置中创建虚拟光源。我们的自动捕获协议使我们能够获得超过一千个场景，每个场景都在25种不同的照明下。我们介绍了环境地图估计、单图像重新照明和混合白平衡中的应用，这些应用可以使用我们的数据集从头开始训练。我们将发布代码和数据。致谢这项工作得到了DARPA RE-VEAL计划的部分支持，HR0011- 16-C-0030。引用[1] Miika Aittala，Tim Weyrich，and Jaakko Lehtinen.固定材料的两次svbrdf捕获。ACM SIGGRAPH，2015. 2[2] YagızAksoy ， ChangilKim，PetrKellnhofer ，SylvainParis ， Mohamed Elgharib ， Marc Pollefeys ， andWojciech Matusik.来自人群的闪光灯和环境照明对的数据集。ECCV，2018年。2[3] 乔纳森·T.巴伦卷积颜色恒定性。ICCV，2015年。8[4] 乔纳森·T.巴伦和吉坦德拉·马利克形状、照明和着色的反射率IEEE Transactions on Pattern4089分析和机器智能，37（8）：1670-1687，2015年8月。5[5] Sean Bell，Paul Upchurch，Noah Snavely，and KavitaBala. OpenSurfaces：一个有丰富注释的表面外观目录ACM SIGGRAPH，2013. 二、四[6] Sean Bell，Paul Upchurch，Noah Snavely，and KavitaBala.野外材料识别与上下文数据库中的材料CVPR，2015年。2[7] Ivaylo Boyadzhiev Sylvain Paris和Kavita Bala摄影照明的用户辅助图像合成。ACM SIGGRAPH，2013. 2[8] 作者：Kristin J. Dana，Bram van Ginneken，Shree K.Nayar，and Jan J.Koenderink。真实世界表面的反射率和纹理ACM Transactions on Graphics，1999年。一、二[9] 保罗·德贝维克将合成对象渲染到真实场景中：将传统图形和基于图像的图形与全局照明和高动态范围摄影相结合。ACM SIG-GRAPH，1998年。二、四[10] Paul Debevec 、 Tim Hawkins 、 Chris Tchou 、 Haarm-Pieter Duiker、Westley Sarokin和Mark Sagar。获取人脸的反射场。ACM SIGGRAPH，2000年。一、二、六[11] 马克·艾伯纳结合白色斑块视网膜和灰色世界假设，以实现多个发光体的颜色恒定性在联合模式识别研讨会上，第60-67页。施普林格，2003年。7[12] 埃尔姆·艾斯曼和杜兰德神父。闪光照相增强通过内在重照明。ACM SIGGRAPH，2004年。2[13] Marc-Andre'Gardner ， KalyanSunkavalli ， ErsinYumer，Xi-aohuiShen，EmilianoGambaretto，ChristianGag ne'，andJean-Fran c oisLalonde. 学习从单个图像预测室内照明ACM SIGGRAPH Asia，2017.五、六[14] Stamatios Georgoulis 、 Konstantinos Rematas 、 TobiasRitschel 、 Mario Fritz 、 Tinne Tuytelaars 和 Luc VanGool。使用深度学习从多种材料中获得自然照明。CoRR，2016年。5[15] Stamatios Georgoulis 、 Konstantinos Rematas 、 TobiasRitschel、Efstratios Gavves、Mario Fritz、Luc Van Gool和Tinne Tuytelaars。使用深度学习实现单一材质镜面反射 物 体 的 反 射 率 和 自 然 照 明 IEEE Transactions onPattern Analysis and Machine Intelligence，2017。5[16] Arjan Gijsenij，Theo Gevers，and Joost Van De Weijer.计算颜色恒定性：调查和实验。IEEE Transactions onImage Processing，2011。7[17] Dar'ya Guarnera，Giuseppe Claudio Guarnera，AbhijeetGhosh，Cornelia Denk，and Mashhuda Glencross. BRDF代表和采集。计算机图形论坛，2016年。2[18] Kai m ingHe ， Geo r giaGkioxari ， PiotrDol la'r ，andRossB.娘娘腔。面罩R-CNN。ICCV，2017年。 1[19] Yannick Hold-Geoffroy 、 Kalyan Sunkavalli 、 SunilHadap、EmilianoGambaretto和Jean-Fran c oisLalonde。深度室外照明估计。CVPR，2017年。5[20] 迈克尔·霍罗伊德杰森·劳伦斯和托德·齐克勒一种用于同步采集3D几何形状和表面反射率的同轴光学扫描仪。ACM SIGGRAPH，2010. 一、二[21] ZhuoHui ， AswinCSankaranarayanan ， KalyanSunkavalli，and Sunil Hadap.使用闪光摄影在混合照明下 的 白 平 衡 。 IEEE International Conference onComputational Photography，2016。7[22] Zhuo Hui，Kalyan Sunkavalli，Sunil Hadap和Aswin C.桑卡拉纳拉亚南使用闪光摄影的捕捉后照明操作CoRR，2017年。2[23] Zhuo Hui，Kalyan Sunkavalli，Sunil Hadap，and AswinC Sankaranarayanan.使用闪光摄影的基于光源光谱的源分离。CVPR，2018年。7[24] Carlo Innamorati，Tobias Ritschel，Tim Weyrich，andNiloy J.米特拉分解分层照片修饰的单个图像计算机图形论坛，2017年。7[25] Rei Kawakami，Katsushi Ikeuchi，and Robby T Tan.一致的表面颜色纹理的大型物体在户外场景. ICCV，2005年。7[26] Alex Krizhevsky、Ilya Sutskever和Geoffrey E.辛顿使用深度卷积神经网络的图像网分类。NIPS，2012年。1[27] Pierre-Yves Laffont， Zhile Ren ， Xiaofeng Tao ， ChaoQian，and James Hays.瞬态属性为高层次的理解和编辑的户外场景。ACM SIGGRAPH，2014. 2[28] 我是弗朗索瓦·拉隆德，我是A. Efros和Srin iv asaG. 纳拉希姆汉从单个室外图像估计自然光照条件。国际计算机视觉杂志，2011年。5[29] 让-弗朗索瓦·拉隆德和伊恩·马特。室外图像采集中的照明估计2014年国际3D视觉会议。2[30] Jason Lawrence、Aner Ben-Artzi、Christopher DeCoro、Wojciech Matusik、Hanspeter Pfister、Ravi Ramamoorthi和Szymon Rusinkiewicz。非参数材质表示和编辑的反向着色树. ACM SIG-GRAPH，2006年。2[31] 斯蒂芬·隆巴迪和西野光野外反射率和照明恢复。IEEETransactionsonPatternAnalysisandMachineIntelligence，2016。5[32] VincentMasselus，PhilipDutr e'，andFrederikAnrys.自由形 式 的 灯 光 舞 台 。 技 术 报 告 ， 计 算 机 科 学 ， KULeuven，2002年。2[33] 松冈亮、巴巴达也、米娅·里兹金尼娅和奥田昌弘。通过使用多个图像经由内在图像分解的白平衡。IEICETransactions on Information and Systems，2015年。7[34] 安基特·莫汉，哈罗德·贝利，乔纳森·韦特，杰克·图姆布林，辛迪·格林，还有鲍比·博登海默。桌面电脑照明实用数码摄影。IEEE可视化与计算机图形学学报，2007. 2[35] 卢卡斯·穆尔曼，阿贝·达维斯，扬·考茨和杜兰德神父。计算反弹闪光室内肖像。ACM SIG- GRAPH Asia，2016.24090[36] Shree K. Nayar，Peter N. Belhumeur和Terry E.博尔特照明敏感显示器。ACM Transactions on Graphics，2004。6[37] Keunhong Park ， Konstantinos Rematas ， Ali Farhadi，and Steven M Seitz. Photoshape：用于大规模形状集合的真实感材料。ACM SIGGRAPH Asia，2018. 2[38] Pieter Peers ， Dhruv K. Mahajan ， Bruce Lamond ，AbhijeetGhosh，WojciechMatusik，RaviRamamoorthi，and Paul De- bevec.压缩光传输感测。ACM Transactions on Graphics，2009。6[39] GeorgPetschnigg ， RichardSzeliski ， ManeeshAgrawala，Michael Cohen，Hugues Hoppe，and KentaroToyama.具有闪光和无闪光图像对的数字摄影。ACMSIGGRAPH，2004年。2[40] Stephan R Richter ， Vibhav Vineet ， Stefan Roth ， andVladlen Koltun.播放数据：从电脑游戏中得到的真相。ECCV，2016。2[41] Olaf Ronneberger，Philipp Fischer，and Thomas Brox.U-网：用于生物医学图像分割的卷积网络2015年医学图像计算和计算机辅助干预国际会议。四、六、八[42] Olga Russakovsky ， Jia Deng ， Hao Su ， JonathanKrause ， San- jeev Satheesh ， Sean Ma ， ZhihengHuang ， Andrej Karpathy ， Aditya Khosla ， MichaelBernstein，Alexander C.伯格和李飞飞。ImageNet大规模视觉识别挑战。国际计算机视觉杂志，2015年。1[43] PierreSermanet ， Da vidEigen ， XiangZhang ， MichaeülMath-ieu，Rob Fergus，and Yann LeCun.Overfeat：使用卷积网络集成识别、定位和检测。CoRR，2013年。1[44] YichangShih ， SylvainParis ， Fre'doDurand，andWilliamTFreeman.从一张户外照片中产生一天中不同时间的数据驱动幻觉ACM SIGGRAPH Asia 2013，2013.2[45] Stumpfel，Chris Tchou，Andrew Jones，Tim Hawkins，Andreas Wenger和Paul Debevec。太阳和天空的直接hdr捕捉。2004年非洲计算机图形、虚拟现实、可视化和交互国际会议。2[46] KalyanSunkavalli ， FabianoMesiciro ， WojciechMatusik，Todd Zickler，and Hanspeter Pfister.颜色变化揭示了户外场景的什么？CVPR，2008年。2[47] Jiaping Wang，Yue Dong，Xin Tong，Zhouchen Lin，and BainingGuo. 用于光传输的Kernelnyst ro？m方法。ACM SIGGRAPH，2009年。6[48] Michael Weinmann，Juergen Gall，Reinhard Klein.基于btf数据库综合训练数据的材料分类。欧洲计算机视觉会议，第156-171页，2014年2[49] Michael Weinmann，Juergen Gall，Reinhard Klein.基于btf数据库综合训练数据的材料分类。ECCV，2014年。2[50] Yair Weiss.从图像序列中导出本征图像ICCV，2001年。2[51] 罗伯特·J·伍德汉姆从多个图像确定表面取向的光度测定方法。光学工程师，1980年。2[52] Jianxiong Xiao ， Krista A. Ehinger ， Aude Oliva ， andAnto- nio Torralba.使用全景位置表示识别场景视点。CVPR，2012年。5[53] Zexiang Xu，Kalyan Sunkavalli，Sunil Hadap，and RaviRamamoorthi.基于深度图像的最佳稀疏样本重光照。ACM Transactions on Graphics，2018。一、二、六[54] Yinda Zhang ， Shuran Song ， Ersin Yumer ， ManolisSavva ， Joon-Young Lee ， Hailin Jin ， and ThomasFunkhouser.使用卷积神经网络进行室内场景理解的基于物理的渲