基于CNN的室外光照估计

1室外深层光照估计Yannick Hold-Geoffroy1*，Kalyan Sunkavalli<$，Sunil Hadap<$，Emiliano Gambaretto<$，Jean-FrançoisLalonde*拉瓦尔大学 *，Adobe Research<$yannick.hold-geoffroy. ulaval.ca，{sunkaval，hadap，emiliano}@adobe.com，jflalonde@gel.ulaval.cahttp://www.jflalonde.ca/projects/deepOutdoorLight摘要我们提出了一种基于CNN的技术，从一个单一的低动态范围的图像估计高动态范围的室外照明。为了训练CNN，我们利用了一个大型的户外全景数据集。我们适合低维物理为基础的户外照明模型，这些天空中的天幕给我们一个紧凑的参数集（包括太阳位置，大气条件和相机参数）。我们从图像中提取有限的视场图像，并用这一大组输入图像输出照明参数对训练CNN。给定测试图像，该网络可用于推断照明参数，所述照明参数又可用于重建室外照明环境图。我们证明，我们的方法可以恢复合理的照明条件，并使逼真的虚拟对象insertion- tion从一个单一的图像。对全景数据集和捕获的HDR环境地图的广泛评估表明，我们的技术显着优于以前的解决方案。1. 介绍光照对场景的外观起着至关重要的作用，恢复场景的光照对于从场景理解到重建和编辑等一系列任务都是然而，图像形成的过程以复杂的方式将照明与场景几何和材料属性相结合，并且反演该过程是一个极端不适定的问题。这在户外场景中尤其如此，我们几乎无法控制捕捉过程。以前解决这个问题的方法依赖于提取线索，如阴影和阴影[26]，并将它们与场景几何的（相当好的）估计相结合，以恢复照明。然而，这两项任务都是具有挑战性的，现有的尝试往往导致性能不佳1研究部分完成时，Y。霍德-杰弗里是Adobe Research的实习生图1.我们提出了一种从单个LDR室外图像预测全HDR照明条件的方法我们的预测可以很容易地用于将虚拟对象插入到图像中。我们的关键思想是使用LDR图像和HDR照明参数的输入-输出对来训练CNN，这些参数是从360张照片的大型数据库中自动在真实世界的图像上。或者，用于固有图像的技术可以估计低频照明，但依赖于几何形状和材料属性的手动调整先验[3，29]，其可能无法推广到大规模场景。在这项工作中，我们寻求一个单一的图像户外照明推断技术，推广到广泛的场景，并没有对场景属性作出强有力的为此，我们的目标是训练CNN直接将单个输入的低动态范围图像回归到其对应的高动态范围（HDR）室外照明条件。鉴于深度网络在相关任务（如内在图像[42]和反射图估计[34]）方面的成功，我们希望适当设计的CNN可以学习这种关系。然而，训练这样的CNN需要非常大的户外图像数据集及其对应的HDR照明条件。不幸的是，这样的数据集目前不存在，并且因为捕获光探针需要大量的时间和精力，所以获取它是禁止的。7312CNN输入图像（LDR）输出天空参数室外照明（HDR）渲染对象7313我们的见解是利用户外全景的大型数据集[40]，并从中提取具有有限视野的照片。因此，我们可以使用成对的照片和全景图来训练神经网络。然而，这种方法注定会失败，因为：1）荧光灯具有低的动态范围，因此不能提供室外照明的精确估计;以及2）即使已经进行了显著的尝试[41]，从单张照片恢复全球面全景对于许多任务来说是不可能的并且是不必要的（例如，当将朗伯物体渲染到场景中时，不需要在背景中的许多高频细节）。相反，我们使用基于物理的天空模型-Hošek-Wilkie模型[16，17]-并将其参数拟合到输入全景中的可见天空区域。这有两个优点：首先，它允许我们从全景图（甚至在饱和区域）恢复物理上精确的高动态范围信息。其次，它将全景压缩为一组紧凑的物理意义和代表性参数，这些参数可以通过CNN有效地学习在测试时，我们恢复这些参数，包括太阳位置，大气浑浊度，几何和辐射相机校准，从输入图像，并使用它们来构建HDR天空环境地图。据我们所知，的第一到解决了从单个室外图像估计完整HDR照明表示的完整范围-这可以很容易地用于基于图像的照明[7]（图1）。①的人。先前的技术通常仅解决了该问题的一些方面，例如，Lalonde等人[26]恢复太阳的位置类似地，[30]使用神经网络来估计太阳方位角，以在路边环境中执行定位。Karsch等人[19]估计全环境地图照明，但他们的全景转移技术可能会产生照明条件任意远离真实的。相比之下，我们的技术可以从任意输入图像恢复我们通过广泛的评估表明，我们的照明条件的估计是显着优于以前的技术，它们可以被用来2. 相关工作室外照明模型Perez等[31]建议 全天候天空亮度分布模型。该模型是CIE标准天空模型的推广，并通过五个系数进行参数化，这些系数可以变化以生成宽范围的天空。Preetham [32]提出了一个简化版本的Perez模型，该模型使用一个统一的大气湍流参数解释了五个系数。Lalonde和Matthews [27]将Preetham天空模型与一个新颖的经验太阳模型结合起来。Hošek和Wilkie提出了天空亮度模型[16]和太阳辐射函数[17]。室外照明估计Lalonde et al.[26]结合多种线索，包括阴影、垂直表面的阴影和天空外观，以预测太阳的方向和可见度。这与来自天空像素[28]的天空照明的估计（由Perez模型[31]表示）相结合类似于这项工作，我们使用基于物理的模型进行户外照明。然而，我们不是设计手工制作的特征来估计照明，而是训练CNN来直接学习图像像素和照明参数之间的高度复杂的映射。用于单个图像照明估计的其他技术依赖于已知的几何形状和/或场景反射率、几何形状和照明的强先验[3，4，29]。这些先验通常不推广到大规模户外场景。Karsch等人[19]检索具有与输入图像相似的特征的全景图（来自SUN360全景数据集[40]），并细化检索到的全景图以计算照明。然而，匹配度量是基于图像内容的，其可能不与照明直接相关另一类技术通过从图像集合估计照明来简化问题。多视图图像集合已用于重建几何形状，其用于恢复室外照明[14，27，35，8]，太阳方向[39]或捕获的地点和时间[15]。外观变化也被用来恢复颜色，室外太阳天空照明的度量变化[37]。深度学习中的逆图形/视觉问题随着基于深度学习的方法在高级识别问题上取得的显著成功，这些方法现在越来越多地用于解决逆图形问题[24]。在理解场景外观的背景下，先前的工作已经利用深度学习来估计深度和表面法线[9，2]，识别材料[5]，分解内在图像[42]，重新覆盖反射图[34]，并且在类似于基于物理的技术[29]的设置中估计来自镜面材料的对象的照明[11]。我们相信，我们是第一个尝试使用深度学习从单个图像中进行完整的HDR室外照明估计。3. 概述我们的目标是训练CNN从单个户外图像预测照明条件。我们使用全球面360°全景摄像机，因为它们可以捕捉场景外观，同时还可以直接看到太阳和天空，是户外最重要的光源。不幸的是，不存在包含真正的高动态范围户外功放的数据库，我们必须在7314t= 1t= 3t= 7t=10天空混浊度t对渲染对象的影响顶行示出了环境地图（以纬度-经度格式），并且底行示出了针对浊度t的变化值的地平面上的兔子模型的对应渲染，范围从低（左）到高（右）。图像已使用γ=2进行色调映射。二是展示。SUN360数据集[40]。为了克服这一限制，并提供一小组有意义的参数来学习CNN，我们首先将基于物理的天空模型拟合到全景图中（第二节）。4）.然后，我们设计并训练CNN，其给定从全景采样的输入图像，输出拟合的照明参数（sec.5），并彻底评估其性能在秒。六、在本文中，以及随后的[40]，将使用术语照片来指代使用普通相机拍摄的标准有限视场图像，术语全景来指代360度全视角全景图像。4. 数据集准备在本节中，我们详细介绍了通过使用Hošek-Wilkie天空模型使用HDR数据来增强SUN 360数据集[40]的步骤，并同时提取可以通过网络学习的照明参数。我们首先简要介绍了天空模型参数化，其次是用于恢复其参数从LDR全景的优化策略。4.1. 天空照明模型我们采用Hošek和Wilkie [16]提出的模型，该模型已被证明[21]比流行的Preetham模型[32]更该模型还被扩展为包括太阳辐射函数[17]，我们也利用了该函数。从该光谱模型中，我们通过在跨越360- 700 nm光谱的离散波长组处进行渲染来获得RGB值关于这一转换处理为fRGB（·），我们将天空方向l的RGB颜色CRGB（l）表示为以下表达式：CRGB（l）=ωfRGB（l，t，ls）。（二）在这个等式中，ω是应用于所有三个颜色通道的比例因子，其目的是估计每个全景的（任意和变化的）曝光。为了从这个模型中生成天空环境地图，我们简单地将天空半球Rumesky离散成几个方向（在本文中，我们使用经纬度格式[33]），并使用（2）渲染RGB值。0以内的像素。太阳位置ls的25° C改为使用HW太阳模型[17]渲染（如上所述转换为RGB）。因此，我们有三个重要参数：指示主定向光源位于天空中的位置的太阳位置LS、曝光ω和浊度T。浊度是至关重要的，因为它控制着相对于天空的太阳颜色（和强度）如示于图2、低浊度表示天空晴朗，太阳非常明亮，高浊度表示天空接近阴天，太阳非常暗淡。4.2. 优化过程我们现在描述如何从SUN360数据集中的全景图中估计天空模型参数 该过程经过精心设计，对数据集中遇到的各种条件具有鲁棒性，这些条件严重违反了天空辐射与像素值之间的线性关系，例如：未知的相机响应函数和白平衡、摄影师的手动后处理和拼接伪像。给定经纬度格式的全景图P和对应于P中的天空像素的一组像素索引p∈ S，我们希望通过最小化可见天空重建来获得太阳位置ls、曝光ω和天空混浊度t最小二乘误差：∗ ∗ ∗Σγ2在其最简单的形式中，Hošek-Wilkie（HW）模型表示照明方向沿ls，ω，t= argminls，ω，tp∈S（P）-ωfRGB（lp，t，ls））（三）天空半球l∈Bracksky作为几个参数的函数S.T. t∈[1，10]，Lλ（l）=fHW（l，λ，t，σg，ls），（1）其中λ是波长，t是大气浊度（空气中气溶胶量的量度），σg是地面浊度，l是太阳位置。这里，我们固定σg= 0。3.地球的平均轨道[12]。其中，f_RG_B（·）在（2）中定义，并且l_p是光方向，对应于像素p∈S（根据纬度-经度映射）。 在这里，我们模拟了具有简单伽马曲线（γ= 2. 2）的情况。对gamma的优化被发现是不稳定的，保持它固定会产生更稳健的结果。7315图层步幅分辨率输入320 ×240Conv7-64 2160 ×120电话：021 - 8888888传真：021- 88888888电话：0531 - 8888888传真：0531 -8888888Conv3-256 140 ×30电话：0531 - 8888888传真：0531 -8888888电话：0531 - 8888888传真：0531 -8888888电话：0531 -8888888传真：0531 -8888888公司简介FC-160 FC-5LogSoftMax线性该算法的太阳位置估计中位误差为4.59°（第25次试验）。= 1.96°，第75次= 8.42°）。其次，我们要求用户标记来自SUN360数据集的1，236张图像，通过指示估计的天空参数是否与全景中可见的场景为此，我们在地平面上渲染兔子模型，并用物理模型合成的天空照亮它。然后，我们要求用户指示兔子是否与场景中存在的其他元素类似地点亮。总的来说，65.6%的图像被认为是成功的拟合，这证明了数据集中存在的具有挑战性的成像条件。5. 学习预测户外照明5.1. 数据集组织输出：太阳位置分布s输出：天空和摄像机参数q为了训练CNN，我们首先应用优化过程，图3.提出的CNN架构。在一系列7个卷积层之后，一个完全连接的层分为两个头：一个用于回归太阳位置，另一个用于天空和相机参数。ELU激活函数[6]用于除输出之外的我们在两步程序中求解（3）首先，通过找到高于阈值（第98百分位）的天空的最大连接分量并通过计算其质心来估计太阳位置ls太阳位置被固定在这个值，因为已经确定在下一阶段对其位置的优化太频繁地使算法收敛到不期望的局部最小值。其次，浊度t被初始化为{1，2，3，…十个月和（3）使用信任区域反射算法进行优化租m（Levenberg-Marquardt算法的一种变体，支持边界），用于这些起始点中的每一个。导致最低误差的参数保持为最终结果。在优化循环期间，对于t的当前值，通过闭合形式的解获得ω*Σ从秒开始4.2至38，814高分辨率户外panora-在SUN360 [40]数据库中。然后，我们使用标准针孔相机模型从每个全景图中提取7个照片，并随机采样其参数：它相对于地平线的 高 度 ， 方 位 角 为[-20，20]，在[-180，180]，垂直视野在[35，68]。生成的照片从全景图中双线性插值到320×240的分辨率，并直接用于训练下一节中描述的CNN。这导致271，698对照片及其对应的照明参数的数据集，其被分成（261，288/1，751/8，659）子集（训练/验证/测试）。这些分割是在全景图上计算的，以确保从同一全景图中拍摄的照片不会在训练和测试中结束示例照片和相应的照片如图所示。六、5.2. CNN架构我们采用标准的前馈卷积神经网络来学习输入图像I与照明参数之间的关系。如图3、其建筑师--ω*=∈SP（p）fRG B（lp，t，ls）.（四）p∈SfRGB（lp，t，ls）2True由7个卷积层组成，后面是一个全连接层。然后，它分成两个独立的头：一个用于估计太阳位置（图左）（3）、一最后，利用天空片段a获得天空掩模S[38]的方法，然后是CRF细化[23]。4.3. 优化程序的验证虽然我们的拟合过程最大限度地减少了重建误差w.r.t.全景像素强度、该数据的辐射测量未校准性质意味着这些拟合可能不能准确地表示真实的照明条件。我们以两种方式验证该过程。首先，在来自Laval HDR天空数据库[25，27]的543个全景天空图像上评估太阳位置估计算法，该图像包含地面真实太阳位置，并且我们将其映射并转换为JPG以模拟SUN360中的条件对于天空和摄像机参数（图中右侧），（3）第三章。太阳位置头通过将天空半球离散化为160个箱（5个用于仰角，32个用于方位角）来输出可能的太阳位置s这也是在[26]。与直接回归太阳位置相反，这具有在预测中指示被认为是可能的太阳位置的其他区域的优点，如图1所示。下面6个。参数head直接回归参数q的4向量：2用于天空（ω，t），2用于相机（仰角和视场）。ELU激活函数[6]和批量归一化[18]用于每个层的输出。7316所有线索（有先验）J600050004000300020002502001501005010000020406080100120140160180度(a) 角度误差8020060150401000020406080100120140160180误差（度）(a) 数据集来自[26]（b）SUN360测试集图5.与Lalonde等人的方法比较[26]显示了（a）原始数据集和（b）来自SUN360测试集的176个图像子集上的累积太阳方位角估计误差。(a)虽然我们的方法在八分圆中具有类似的误差（小于20◦ ◦0204060800十一点二十五分22.533.754556.2567.578.7590海拔（度）5005010015020020015010050050100150200方位角（度）二十二岁5），精度在一个象限（小于45）显著提高了约10%。(b)176张图像SUN360测试子集包含更具挑战性的图像，其中基于显式提示检测的方法（如[26]）失败。我们基于深度学习的方法仍然稳健，两个数据集的性能。(b) （c）方位角误差图4. 对SUN360测试集中所有8659幅图像的太阳位置估计进行定量评估。(a)角误差对太阳位置的累积分布函数。作为太阳仰角（b）和（c）相对于摄像机的方位角的函数的估计误差（0°表示太阳在摄像机前面最后两个数字显示为5.3. 培训详情我们将待优化的损失定义为两个损失之和，每个头一个：L（s，q，s，q）=L（s，s）+βL（q，q），（5）其中β= 160以补偿s中的仓数。对于每个面元sj，目标太阳位置sj计算为：s=exp（κlTl），（6）通常在大约7-8个时期内收敛此外，结合我们的大型数据集使用的高初始学习率进一步有助于减少训练所需的epoch数量。6. 评价我们评估了CNN在以多种方式从单个图像预测HDR天空环境图首先，我们介绍了网络在SUN360数据集上估计照明参数的效果。然后，我们展示了如何虚拟对象重新照明的估计环境地图不同，从他们的渲染获得的地面实况参数模型，仍然在SUN360。最后，我们获得了一个小的HDR室外环境贴图集，并将我们的重新照明结果与实际HDR环境贴图进行了比较。JSJΣ并进行归一化，使得js= 1。（6）中的等式rep-6.1. SUN360上的照明参数冯·米塞斯-费舍尔分布[1]，地面实况太阳位置Ls。由于网络必须预测太阳位置附近的置信值，因此我们设置κ= 80。目标参数q是简单的地面实况天空和相机参数。我们对L（q，q）使用MSE损失，对太阳位置L（s，s）使用Kullback-Leibler（KL）发散损失。需要使用KL散度，因为我们希望网络来学习太阳位置的分布，而不是最可能的位置。（5）中的损失通过使用Adam优化器[22]的随机梯度下降最小化，初始学习率为η= 0。01.训练是在128个样本的小批量上完成的，并通过提前停止进行正规化。过程太阳位置我们首先评估CNN预测太阳位置的能力把图像。图4使用三个曲线图示出了该任务的定量性能：太阳角估计误差的累积分布我们观察到80%的测试图像的误差小于45°。图4-（b）表明，在高海拔情况下，网络往往会低估太阳高度。这可能是由于在训练中缺乏这样的事件图图4-（c）示出了CNN不偏向方位角位置，并且在整个方位角位置上是鲁棒的。%百分之七十九百分之五十四百分之二十七百分之十一我们的方法Lalonde等人12年机会数量的图像误差（度）数量的图像误差（度）百分之六十四四四零零。2.2%百分之五十四点八百分之五十四点八我们的方法Lalonde等人12年ChaCnhcence7317图6. 从单个室外图像估计太阳位置的示例。对于每个示例，输入图像被示出在左侧，并且其在全景中的对应位置被示出为红色轮廓。颜色叠加显示神经网络输出的太阳位置的概率分布。一颗绿色的星标记了神经网络估计的最有可能的太阳位置，而一颗蓝色的星标记了地面真相位置。整个范围。图6显示了我们的太阳位置预测覆盖在测试图像被裁剪的照片上的例子。请注意，我们的方法能够在各种场景、视野和布局中准确预测太阳方向。我们定量地比较了我们的方法[26]在从单个图像估计太阳方位角的任务结果报告在图中。五、首先，图5-（a）显示了两种方法在[26]的239个图像数据集上的比较(a) 蒂罗尔特(b) 暴露ω虽然我们的方法在八分圆（小于22.5°）中具有类似的误差，但我们基于CNN的方法显著提高了象限（小于45°）中的精度（约10%）。图5-（b）显示了在本文中使用的SUN 360测试集的176个图像子集上的相同比较。在这种情况下，Lalonde等人的方法。[26]失败，而CNN报告了强大的性能，与图1相当。5-（a）.这可能是因为SUN360测试集包含了更多具有挑战性的图像，这些图像大多缺乏强烈的、明确的照明线索。[26]明确依赖的这些线索对这些方法的成功至关重要。浊度和曝光我们在SUN360测试集上评估浊度t和曝光ω照明参数的回归性能，并在图中报告结果7 .第一次会议。总的来说，网络倾向于支持天空的低浊度估计（因为数据集包含大多数这样的示例）。此外，该网络成功地估计了低曝光值，但倾向于低估高曝光的图像。相机参数详细的性能分析可参见补充资料。简而言之，CNN在80%的测试图像中，仰角误差小于7°，视场误差小于11°。图7. 浊度t和暴露量ω的定量评价。误差分布显示为“箱百分位数”图（见图2）。4）. CNN倾向于支持晴朗的天空（低浊度），并且在曝光高时具有较高的误差。6.2. 重新点亮SUN360评估性能的另一种方式是通过将用估计的照明渲染的朗伯3D模型的外观与由地面实况照亮的相同模型的外观进行比较。图8提供了这样的比较，通过显示在我们的测试集上获得的渲染上计算的三个不同的误差度量。误差度量是（a）RMSE、（b）尺度不变RMSE和（c）每颜色尺度不变RMSE。RMSE的尺度不变版本的定义类似于Grosse等人。[13]，除了在整个图像上计算比例因子（而不是如[ 13 ]中的局部）。The “per-color” variant computes a different scale factor 渲染中的黑色背景在计算度量之前被屏蔽为了让人们对这些数字的定性含义有所了解，图。图8还提供了对应于第（25，50，75）个误差序列中的每一个的示例。即使是在7318月25百分位第75次(a) RMSE月25百分位第75次图9. 具有自动照明估计的虚拟对象插入。从单个图像中，CNN预测了完整的HDR天空图，用于将对象渲染到图像中。无需额外步骤。补充资料中提供了有关自动对象插入的更多结果。(b) 尺度不变RMSE百分位第25次(c) 逐色尺度不变RMSE图8.与SUN360数据集上的地面实况照明参数进行定量重新照明比较我们计算三种类型的错误度量：（a）RMSE，（b）尺度不变RMSE [13]，和（c）每颜色尺度不变RMSE。左边的图显示了误差的分布，中位数，第25和第75个数字用蓝色条标识。对于每一个措施，对应于特定的错误水平的例子，给出了一个定性的感觉的性能。使用地面实况（估计的）照明参数获得的渲染显示在顶（底）行中。第75个误差百分比在质量上看起来很好可以观察到太阳方向和整体颜色的轻微差异，但它们仍然在合理的范围内。图图9示出了在用我们估计的HDR照明渲染之后插入到图像中的虚拟对象的示例如这些示例所示，我们的技术能够将范围从晴天到阴天以及正午到黎明/黄昏的合理照明条件转换为合成图像，从而产生自然外观的合成图像。图10示出了从CNN估计的相机仰角可以在渲染流水线内使用以自动旋转虚拟相机估计高度：-9°估计高度：3.5°图10.虚拟对象插入与自动照明和摄像机仰角估计。这两张照片是在同一个位置拍摄的，相机朝下（左）和朝上（右）。用于渲染兔子模型的虚拟相机的高程被设置为CNN预测的值，从而产生真实地躺在地上的兔子。用于渲染对象。在这些结果中，使用简单的地平面来模拟虚拟对象与其环境之间的交互，并且对象手动地放置在摄像机前面的固定距离处。6.3. HDR照片验证为了进一步验证我们的方法，我们捕获了一个包含19个不饱和户外HDR照片的小数据集。为了适当地暴露户外照明的极端动态范围，我们遵循Stumpfel等人提出的方法。[36]第30段。我们拍摄了7个曝光范围从1/8000到8秒的f/16，使用安装在三脚架上的佳能EOS5D Mark III相机，并配备了Sigma EXDG 8 mm鱼眼镜头。镜头后面安装了一个3.0 ND滤光片，这是精确测量太阳强度所必需的曝光以全分辨率存储为14位RAW图像。以60°的增量在6个方位角重复该过程以覆盖整个360°全景。使用PTGUI commer融合得到的42张图像。网络输出网络输出地面实况地面实况网络输出地面实况7319地面真实值估计地面真实值估计地面真实值估计(a)(b)（c）第（1）款图11.在捕获的HDR照片上与地面真实照明条件进行对象重新照明比较对于每个示例，顶行示出（左）通过原位捕获的地面真实HDR照明条件重新照明的兔子模型;（右）完全自动地通过CNN仅从背景图像估计的照明条件重新照明的相同兔子模型没有进一步调整（例如：整体亮度、饱和度等）进行了。最下面一行显示了原始环境地图、摄像机的视野（红色）和太阳位置估计的分布（如图2所示）。（六）。请在我们的项目页面上查看更多结果。cial拼接软件。为了方便拍摄过程，相机被安装在可编程的机器人三脚架头上，允许重复和精确的拍摄。为了验证该方法，我们从HDR照片中提取有限的视野然后将CNN应用于输入照片以预测其照明条件。然后，我们比较通过渲染兔子模型获得的重新照明结果：1)HDR全景本身，其表示地面实况照明条件;以及2）估计的照明条件。示例结果如图所示。11个国家。虽然我们注意到曝光ω被稍微高估了（导致渲染比地面真实值更亮），但重新发光的兔子看起来相当逼真。7. 讨论在本文中，我们提出了我们认为是第一个端到端的方法来自动预测全HDR照明模型从一个单一的室外LDR图像的一般场景，这可以很容易地用于基于图像的照明。我们的主要想法是在SUN360数据库中的照片和照片对上训练深度CNN，我们我们表明，我们的方法显着优于以前的工作，它可以用来逼真地插入到照片中的虚拟对象。尽管提供了最先进的性能，我们的方法仍然受到一些限制。首先，Hošek-Wilkie天空模型为晴朗的天空提供了准确的代表性精度，但当云层覆盖增加时，其精度降低，因为浊度t不足以像晴朗的天空那样准确地模拟完全阴天的情况。在阴天的天气中优化其参数通常会低估浊度，导致CNN偏向于低浊度。目前，我们正在研究-图12.从单个室外图像估计太阳位置的典型失败案例。关于注释的解释，参见图6。当照明线索与复杂几何体混合（顶部）、图像中不存在（中间）或存在镜面状表面（底部）时，会发生故障。通过将HW模型与另一个更适合阴天的天空模型相结合，来缓解这个问题。另一个限制是生成的环境贴图仅对天空半球建模。虽然这不会影响漫反射对象（如本文中使用的兔子模型），但对于渲染镜面反射材质来说，这将是一个更大的问题，因为没有场景纹理会从其表面反射像[20]这样的简单调整可能有助于使这些渲染更逼真。7320引用[1] A.班纳吉岛S. Dhillon，J. Ghosh，and S. SRA.使用vonMises-Fisher 分 布 在 单 位 超 球 面 Journal of MachineLearning Research，6：13455[2] A.班萨尔湾Russell和A.古普塔。Marr再访：通过表面法线预测的2D- 3D模型对齐。CVPR，2016年。2[3] Barron和J.马利克形状、照明和着色的反射率。IEEETransactionsonPatternAnalysisandMachineIntelligence，37（8）：1670-1687，2013. 一、二[4] J. T. Barron和J.马利克从单个rgb-d图像的内在场景属性。IEEE计算机视觉与模式识别会议，2013年。2[5] S. Bell，P. Upchurch，N. Snavely和K.巴拉野外材料识别与上下文数据库中的材料IEEE计算机视觉和模式识别会议，2015年。2[6] D.- A. Clevert，T. Unterthiner和S. Hochreiter。通过指数线性单元（ELU）进行快速准确的深度网络学习。在2016年国际学习代表会议上4[7] 德贝维克将合成对象渲染到真实场景中：通过全局照明和高动态范围摄影将传统图形和基于图像的图形连接起来。在ACM SIGGRAPH的Proceedings中，1998年。2[8] S. 杜尚角Riant，G.Chaurasia，J.L. Moreno，P.Y. Laf-font，S. Popov，A. Bousseau和G.讨厌鬼户外场景的多视点固有图像及其在重新照明中的应用。ACM事务处理图表，34（5）：164：1-164：16，Nov. 2015年。2[9] D. Eigen和R.费格斯。预测深度，表面法线和语义标签与一个共同的多尺度卷积架构。2015年计算机视觉国际会议。2[10] W. W. Esty和J。D. 班菲尔德箱百分位数图。统计软件杂志，8：1-14，2003年。5[11] S. 乔古利斯K. 雷马塔斯T. 里彻尔M. 弗里茨L. Van Gool和T. Tuytelaars快乐网：将反射贴图分解为镜 面 材 质 和 自 然 照 明 。 arXiv 预 印 本 arXiv ：1603.08240，2016年。2[12] P. R. Goode，J. Qiu，V. Yurchyshyn，J.希基，M.- C. 楚E.科尔贝角T. Brown和S. E.库宁地球反射率的地照观测。地球物理研究快报，28（9）：1671-1674，2001年。3[13] R.格罗斯湾K. Johnson，E. H. Adelson和W. T.自由人。地 面 实 况 数 据 集 和 基 线 评 价 的 内 在 图 像 算 法 。IEEEInternational Conference on Computer Vision ，2009。六、七[14] T. 哈伯角Fuchs，P.Bekaer，H.-P. 塞德尔湾Goesele，以及H.伦施从图像集合重新照亮对象。在IEEE计算机视觉和模式识别会议上，2009年。2[15] D. 豪格 S. Wehrwein， P·厄普丘奇， K. Bala和N. 很聪明使用户外照明模型对照片集合进行推理在英国机器视觉会议上，2014年。2[16] L. Hošek和A.威尔基全光谱天幕辐射的解析模型。ACMTransactions on Graphics，31（4）：1-9，2012. 二、三[17] L. Hošek和A.威尔基在hosek-wilkie天光模型中加入太阳辐射函数IEEE Computer Graphics and Applications，33（3）：44-52，2013年5月。二、三[18] S. Ioffe和C.赛格迪批次标准化：通过减少内部协变量偏移来加速深度网络训练。Journal of Machine Learning Research，37，2015。4[19] K. Karsch，K.Sunkavalli，S.Hadap，N.Carr，H.金河，西-地丰特，M. Sittig和D.福赛斯3D物体合成的自动场景推理ACM事务处理图表，33（3）：32：12014年6月。2[20] E. A. 汗，E。莱因哈德河W. Fleming和H.H. 布尔霍夫基于图像的材质编辑。ACM Transactions on Graph-ics，25（3）：654，2006. 8[21] J. T. Kider，D. Knowlton，J. Newlin，Y. K. Li和D. P.格林伯格。太阳能和天幕照明实验比较的框架。ACMTransactions on Graphics，33（6）：1-12，nov 2014. 3[22] D. Kingma和J. BA. Adam：一种随机优化的方法.在国际学习代表会议上，第1-15页，2015年。5[23] P. Krähenbühl和V.科尔顿。具有高斯边缘势的全连接CRF中的有效推理。在神经信息处理系统，2012年。4[24] T. D. Kulkarni、W.F. Whitney，P.Kohli和J.特南鲍姆深度卷积逆图形网络。NIPS，第2539-2547页。2015. 2[25] J. - F. 拉隆德湖P. Asselin，J.Becirovski，Y.霍德-杰弗里M.加龙，M.- A. Gardner和J.张某拉瓦尔HDR天空数据库。http://www.hdrdb.com，2016年。4[26] J. F. Lalonde、A.A. Efros和S.G. 纳拉希姆汉从单个户外图像估计自然光照条件International Journal of ComputerVision，98（2）：123 一二四五六[27] J. - F.拉隆德和我。马修斯户外图像采集中的光照估计。2014年国际3D视觉会议。二、四[28] J. - F. Lalonde，S. G. Narasimhan和A. A.埃夫罗斯太阳和天空告诉我们关于相机的什么？International Journalon Computer Vision，88（1）：24-51，May 2010. 2[29] S. Lombardi 和 K. 西 野 野 外 反 射 率 和 光 照 恢 复 IEEETransactionsonPatternAnalysisandMachineIntelligence，38（1）：129-141，2016。一、二[30] W.- C.马，S. Wang，M. A. Brubaker，S. Fidler和R.乌塔孙。通过观察太阳和其他自然线索找到你的路。IEEE机器人与自动化会议（ICRA），2017年。2[31] R.佩雷斯河Seals和J.米哈尔斯基天空亮度分布的全天候模式-初步配置和验证。太阳能，50（3）：235-245，3月。1993. 2[32] A. J. Preetham，P.Shirley和B.史密特日光的实用第26届计算机图形学和交互技术年会论文集- SIGGRAPH，1999年。二、三7321[33] E. 莱因哈德W.海德里希P.Debevec，S.巴塔奈克湾Ward和 K. 米 斯 科 夫 斯 基 高 动 态 范 围 成 像 。 MorganKaufman，第2版，2010年。3[34] K. Rematas，T. Ritschel，M. Fritz，E. Gavves和T.图特-拉斯。深层反射图。IEEE计算机视觉与模式识别会议，2016年。一、二[35] Q.尚河亚当斯湾，澳-地Curless，Y. Furukawa和S. M.塞茨用于场景重建的视觉图灵测试。在3DV，2015年。2[36] J. Stumpfel，A.琼斯，A.温格角Tchou，T. Hawkins和P.德 贝 维 克 直 接 HDR 捕 捉 太 阳 和 天 空 。 ACMAFRIGRAPH，2004年。7[37] K. Sunkavalli，F. 西尼罗 Matusik，T. Zickler和H.菲斯特颜色变化揭示了户外场景的什么？IEEE计算机视觉与模式识别会议，2008年。2[38] Y.-- H. Tsai，X.沈，Z.Lin，K.Sunkavalli和M.-H. 杨天空不是极限：语义感知的天空替换。ACM Transactions onGraphics（SIGGRAPH 2016），35（4）：149：14[39] S. Wehrwein，K. Bala和N.很聪明照片集中的阴影检测和太阳方向。在2015年的3D视觉国际会议上。2[40] J. 肖氏K.A. Ehinger，A.Oliva和A.托拉尔巴使用全景位置表示法对场景视点进行优化。在IEEE计算机视觉和模式识别会议上，2012年。二、三、四[41] Y. Zhang，J. Xiao，J. Hays，和P. Tan. Framebreak：通过引导移位映射进行的Dra- matic图像外推。在IEEE计算机视觉和模式识别会议上，第1171-1178页，2013年。2[42] T. Zhou，P. Krähenbühl，and A. A.埃夫罗斯学习数据驱动的反射率先验的内在图像分解。ICCV，2015年。一、二