HDSky分层解纠缠天空模型的室外光照预测与编辑

15313HDSky预测器HDSky编辑器天空位置强度HDSky我们预测阳光酒店编辑用于室外光照估计和编辑的Piaopiao Yu1，Jie Guo1，†，Fan Huang1，Cheng Zhou1，Hongwei Che2，Xiao Ling2，Yanwen Guo1，†1南京大学软件新技术国家重点实验室2广东OPPO移动通信有限公司turmikey@163.com，{guojie，ywguo}@ nju.edu.cn{mf20330031，zc} @ smail.nju.edu.cn，{chehongwei，lingxiao} @ oppo.com摘要数据驱动的天空模型最近在室外光照预测中获得了很多关注，显示出优于分析模型的性能。然而，如现有模型所做的那样，将室外全景单纯地压缩成低维潜在向量会导致两个主要问题。一个是太阳的HDR强度与周围天空的复杂纹理之间的相互干扰，另一个是由于纠缠表示而缺乏对独立照明因素的细粒度控制。为了解决这些问题，我们提出了一个分层解纠缠天空模型（HDSky）的户外照明预测。有了这个模型，任何户外全景可以分层分解成几个因素的基础上，三个精心设计的自动编码器。第一自动编码器将每个晴天全景图压缩成具有一些约束的天空矢量和太阳矢量第二自动编码器和第三自动编码器进一步分别利用几个定制的损失函数从太阳矢量和天空矢量分解太阳强度和天空强度此外，一个统一的框架被设计来预测全天候的天空信息从一个单一的室外图像。通过大量的实验，我们证明，该模型显着提高了室外光照预测的准确性。它还允许用户直观地编辑预测的全景（例如，全景图）。改变太阳的位置，同时保留其他太阳），而不牺牲物理上的合理性。1. 介绍基于单幅输入图像的室外光照预测是从场景理解和重建到增强现实（AR）等许多应用的关键任务。然而，不同的天气条件和†通讯作者。Ather天空图1.我们提出HDSky，第一个解开数据驱动的全天候户外照明模型。由于所学习的潜在向量被分解成若干独立且有意义的因素，因此可以实现室外照明预测的最先进性能，从而在AR渲染中产生一致的阴影和阴影，并且实现具有物理合理性的直观照明编辑。照明和其它场景属性（例如，表面反射率和几何变化）使得该问题具有高度挑战性。由于深度学习的成功，最近出现了基于学习的方法[9，4，33，8]，并通过采用强大的深度神经网络自动学习有限视场（FoV）图像与给定15314天空模型为了使问题易于处理，一些方法求助于分析天空模型。例如，Hold-Geoffroyet al. [9]采用Hosˇek-Wilkie sky （HW ）模 型[10，23]对360◦高动 态范围（HDR）照明进行编码，参数少至4个。然而，这种模式只适用于晴朗的天空。Zhang等人[33]采用Lalonde-Matthews（LM）模型[17]来表示全天候户外照明，但由于LM模型的表现力有限，他们无法完全准确地预测天空颜色通常，分析模型不能完全捕获真实世界大气条件的复杂性。最近，数据驱动的天空模型[28，4，8]将复杂的户外照明压缩成低维的潜在向量，在户外照明预测中变得流行并实现了最先进的性能。在大规模数据集上训练后，数据驱动的天空模型可以比大多数分析模型再现更广泛的户外照明，而且偏差要小得多然而，单纯地用神经网络将室外全景压缩成低维的潜在向量会导致两个主要问题。首先，单个矢量难以同时反映太阳的HDR强度和各种天气条件。因此，将降低太阳的强度以便匹配正确的天空颜色和纹理，从而导致AR应用中的预测准确度低以及阴影和阴影不一致其次，基于单个潜在向量直观地编辑室外照明由于合并表示而具有挑战性。例如，很难在保持其他属性的同时改变太阳的位置为了解决上述问题，我们提出了HDSky，这是一种新的数据驱动的天空模型，它在HDR全景图上进行分层训练，将每个室外HDR全景图分解为几个有意义的因素。在将输入的全景图手动分类为晴天或多云之后，设计了三个自动编码器来生成晴天全景图的去纠缠表示。第一自动编码器通过基于信息理论对天空和太阳施加约束来将每个晴天全景图压缩成天空向量和太阳向量这两个向量被期望在适当的融合之后恢复原始全景图第二自动编码器进一步将太阳矢量分解成具有若干定制损失函数的太阳强度和残差因子。第三个自动编码器从天空矢量中分离天空强度。对于多云全景，需要单个自动编码器来将全景压缩成天空向量。另一个自动编码器也被用来从天空矢量中解开天空强度使用HDSky，我们能够在室外照明预测中实现比基于合并表示的先前方法更高的准确性[8]，因为不同天空属性之间的纠缠（例如，的强度太阳和天空的颜色）。具体来说，对于FoV有限的图像，我们首先预测其天气条件（晴天或多云），然后使用几个CNN来估计每个单独的因素，这些CNN在SUN360数据集[32]上联合训练，并具有适当设计的损失函数。利用HDSky的训练解码器，我们可以融合分解的因素并恢复可以直接用于AR渲染的完整HDR全景图，保证一致的明暗和阴影。解开的表示允许我们直观地编辑预测的户外照明，在有限的手动辅助下实现更生动的结果。我们工作的贡献可以概括如下。我们介绍了HDSky，一种新的数据驱动的天空模型，分层解开一个室外全景到几个可解释的向量的基础上的信息理论。我们提出了一个统一的框架，可以预测全天候的天空信息，从一个单一的户外图像，实现国家的最先进的性能，在户外照明预测。我 们 开 发 了 一 个 直 观 的 编 辑 工 具 的 基 础 上HDSky，允许改变预测的室外照明与细粒度的控制和物理合理性。2. 相关工作室外照明估计的传统方法。基于Perez模型[25]，Lalondeet al. [16]利用手工制作的先验（例如，投射阴影）以从单个通用室外图像恢复照明。Karsch等人[13]可以外推视野外的场景，并通过将输入图像与SUN360全景图[32]匹配来估计视野外的照明，这不能与照明直接关联。光传输的线性度在几项工作中被用来估计来自面的光[29，30]。一些关于照明估计的工作假设几何形状是已知的，并且依赖于场景反射率、几何形状和照明的强先验[3，2，22]。通常，这些方法不推广到大规模户外场景。深度学习用于室外照明估计。最近，在利用深度学习方法进行照明估计方面已经取得了重大进展。例如，从具有已知几何形状的物体的单个图像推断出反射图鉴于两个相反的观点的全景，程等。[6]使用深度学习技术估计照明。Hold-Geoffroy等人[9]我利用参数化的Hosˇek-Wilkie天空模型[10，23]来模拟室外照明并学习估计其参数···15315PPintPintPPPPPPPⓈPPfrom a single单一image图片.随后，Zhanget al. [33]用Lalonde-Matthews室外光照模型扩展了该方法。然而，对于这些分析天空模型[25，26，10，23，17]，仅用几个参数准确地表示复杂的天气条件是具有挑战性的相比之下，我们以数据驱动的方式估计更合理和准确的照明。Liu等[21]用神经网络生成逼真的虚拟物体阴影。用于反向照明的几种深度学习技术依赖于来自面部的线索。Zhou等[34]从肖像估计低频二阶球谐照明对于更高频率的照明估计，使用三种漫射、光泽和镜面参考球体的数百万LDR图像来训练模型从室内或室外图像回归全向HDR照明[18]。随后，LeGendreet al. [19]扩展了以前的方法，具有不同的肖像，并取得了优异的性能。Calian等人[4]使用深度自动编码器来学习数据驱动模型，并从单个面部图像估计HDR室外照明。类似地，Hold-Geoffroyet al. [8]利用自动编码器来在端到端框架中从一般户外场景的单个图像估计照明。不幸的是，所学习的表示的潜在向量不是可解释的，这限制了其准确性和适用性。分解表征学习。解开学习旨在解开形成真实世界数据的潜在因素[5，12]。虽然许多监督方法需要强有力的监督（边缘/关键点/掩模注释或检测器）[24，1]，但大多数无监督方法仅限于解开最多两个因素，如形状和纹理。在本文中，我们因素的室外HDR全景到更多的因素，如天空，太阳位置，和太阳强度。几种方法利用信息理论[5]以最小的监督[31，20]来解开潜在因素我们采用这个理论在我们的框架解开室外照明。3. 概述我们在本文中的目标是从单个FoV受限图像预测室外照明，并且允许对预测的照明进行方便的编辑以用于进一步的用户控制（例如：微调太阳强度）。为了实现这一目标并确保高精度，我们求助于数据驱动的、分层的解纠缠天空模型HDSky，其是从室外HDR全景图中学习的。在训练HDSky之前，我们首先手动将所有户外HDR全景分为两类：晴天（z wea=1）和多云（z wea=0）。对于阳光明媚的全景，我们利用三个精心设计的自动编码器分层学习的解开表示。第一个自动编码器AE1因素每个阳光明媚的全景转换成天空矢量z天空以及根据信息论的太阳向量z太阳。然后，可以用两个解码器从z天空、z太阳和地面真实太阳位置zpos恢复完整的全景图第二自动编码器AE2和第三自动编码器AE3还分别将太阳强度zsun和天空强度zsky与太阳矢量zsun和天空矢量zsky分离。多云全景图由单个自动编码器压缩成天空矢量。然后，我们采用一个其他的自动编码器学习天空强度从天空矢量的多云全景。照明潜在空间的分解因子和相应的尺寸在补充材料中示出。为了执行基于HDSky的单图像室外光照预测，我们首先用网络将输入图像分类为晴天或阴天。然后，不同的神经网络被用来估计解纠缠向量。最后，我们可以通过将预测向量与HDSky的训练解码器融合来恢复完整的HDR全景解纠缠表示还允许我们更方便地编辑预测的室外照明。可以直观、独立地编辑太阳强度、太阳位置和天空强度。4. HDSky在本节中，我们将详细介绍我们的HDSky和培训过程。4.1. 网络架构我们的HDSky处理晴天和多云的全景不同。使用三个自动编码器AE1，AE2和AE3，HD- Sky将每个阳光充足的HDR全景分层压缩成具有若干分辨率的低维潜在向量。纠结的因素，如图的左边部分所示。二、第一个自动编码器AE1解开成一个天空矢量- torz天空，一个太阳矢量z太阳与两个平行的编码器。如图左上角所示。2.通过使用设计良好的解码器将上述两个矢量与地面真实太阳位置矢量z pos融合，可以重建完整的全景图。在重建过程中生成了天空和太阳两幅全景图 太阳全景sun由太阳解码器生成，太阳解码器以由z_pos产生的太阳位置图pos为条件。在我们的当前实现中，pos是指示太阳在全景中的位置的二进制图像。然后，通过将太阳全景图与太阳位置图拼接在天空全景图上来重建完整全景图，即、P′=Psun+Psky（1− Ppos），（1）其中是逐元素乘法。为了实现AE1的去纠缠，我们利用信息论的方法，在（1）z天空和P天空，（2）z太阳和P太阳之间，实现了高互信息。 这将在下一节中详细介绍。15316intint天空孙天空天空LDR全景图1. HDSky2. HDSky预测器���Ƹ������������2���Ƹ������������������������预处理AE1阳光明媚���Ƹ阳光形象2P���′������������多云HDR全景图像多云���������������������AE2AE3���′���′3. HDSky编辑器���韦阿图2.我们的方法的建议架构。我们训练了两个精心设计的网络（AE1和AE2），将输入的户外全景图压缩并分解为几个独立且有意义的因素，即，HDSky.这种分解的低维表示有助于从单个FoV有限图像预测全天候天空信息，提高预测的准确性并实现AR应用中的一致着色它还使室外照明编辑比以前的纠缠表示更方便为了实现更直观的编辑，我们进一步使用第二自动编码器AE2从太阳向量解开太阳强度，并且使用第三自动编码器AE3从天空向量解开天空强度。如图左下角所示。2，以太阳向量z sun作为输入，AE2可以生成太阳强度向量z sun，主动功能：LAE1 =αLrecon+Lsun+Linfo，（2）其中我们根据经验将α设置为10重建损失Lrecon用于测量recon之间的相似性-太阳形intSsun和残差向量zres结构化全景图和原始全景图的L1范数。要加强太阳全景P太阳只学习太阳信息-太阳z的剩余可变性。 AE3可以解开天空强度z天空和来自z天空的天空形状S天空。一旦我们设计了太阳损耗L孙使…AE2int和AE3被训练，太阳强度向量太阳和在L2范数下，P太阳的天空面积天空强度矢量z天空可以被直接编辑以修改原始（或L孙=P孙- P太阳 P位置2.（三）预测的）全景。补充材料中提供了网络的详细信息。对于多云全景图，我们训练另外两个自动编码器来分别执行天空强度的压缩和解缠。补充材料为了改善AE1的解缠结，我们实施了利用信息论的思想，在矢量和全景图之间建立了高互信息的关系。如图3中，利用两个网络Ei和Ei分别诱导zsky和z sun捕获天空和太阳信息：提供了更多详细信息。L信息= maxEz天空ΣlogEi（z天空|P天空）Σ +孙（四）4.2. 损失函数最大Ez孙，z位置 ΣlogEi（z sun| P sun）Σ。为了实现分层解缠结，AE1、AE2和AE 3分别被配置为：15317AE3按顺序训练。我们用物体训练AE1这里，符号E（z|P）意味着编码器E接收全景P并输出潜在码z。 E i是15318P天空×PP×L−×L−图3.信息论用于解开户外照明。用于从 天空生成z天空。L2范数用于最小化由Esky生成的zsky与由Ei生成的重构之间的差异。一旦AE1被训练，我们就可以训练AE2和AE3，这在补充材料中给出。4.3. 培训详情为了训练AE1，使用来自SUN 360- HDR数据集[8]的8，466个HDR全景和来自Laval天空数据集[15]的4，484个HDR全景具体地，9，300个晴天HDR全景连同对应的太阳位置一起用于训练完整的AE1。输入HDR全景以纬度-经度格式存储，其中在上半球的RGB中具有32 128的此外，我们使用AE1学习的9，300个太阳向量和9，300个天空向量分别训练AE2和AE3一旦训练了HDSky，我们就在SUN 360-HDR数据集[8]中的所有全景上运行它，该数据集是通过将SUN360数据集[32]的LDR全景转换为HDR而获得的，以生成相应的解纠缠向量。然后将这些向量与从SUN360数据集[32]中提取的图像一起用作进一步应用的训练示例5. 从单个图像使用HDSky，我们能够从单个图像中预测室外照明的准确性比之前基于合并表示的方法更高[8]。在本节中，我们详细描述了用于从FoV受限图像分层估计全天候天空信息的HD-Sky预测器的总体框架。5.1. 网络架构在我们的分层框架中，首先使用分类网络Ecla将输入图像分类为晴天或多云（zwea）。分类网络的详细情况见补充材料。然后，我们可以分别预测晴天图像和多云图像的HDSky照明对于阳光充足的图像，两个网络用于预测sky矢量zsky和太阳矢量zsun，如图1右上角所示二、这两个矢量然后被转换成天空全景图和太阳全景图，HDSky的训练解码器Dsky和Dsun。在变换期间，估计的太阳位置（稍后讨论）是用来记录P波 的。 随后，我们可以通过融合P_s_k_y和P_s_sun来获得完整的全景图P_s。1.一、如前所述，太阳位置用于恢复太阳全景。因此，我们使用具有预训练的DenseNet-161 [11]架构的网络Epos来估计晴天图像的太阳位置。不同之处在于，我们的Epos的最后一层是一个由160个节点组成的全连接层。通过将天空半球离散化为160个区间（5个用于仰角，32个用于方位角），Epos输出可能的太阳位置上的概率图[9]。然后，我们选择具有最大概率的位置作为太阳。KL散度损失用于训练网络。详见补充资料.与晴天图像相比，我们利用单个网络来预测多云图像的s k y矢量zs ky。 一旦获得zs ky，我们可以直接将其转换为s k y全景图Ps ky（见图中的橙色块）。2）的情况。5.2. 损失函数为了训练晴天图像的Esky2和Esun2，我们设计了向量损失zsunny，以使用L1范数来度量预测向量与原始向量之间的相似性。此外，我们添加L1损失（P晴天）恢复的全景捕捉天空的颜色和强烈的太阳强度。总之，用于训练两个网络的目标函数是：Lsunny=δLz−sunny+LP−sunny，（5）其中δ被设置为1106以提高预测向量的准确度。对于多云图像，我们还利用天空矢量和天空全景的L1损失来优化多云网络，其中权重分布与上述晴天图像上的目标函数相同。5.3. 培训详情为了在这个阶段训练网络，我们准备了大量的FoV限制图像。受[9]的启发，我们从SUN360数据集的每个LDR全景图中提取了7个分辨率为320 240的FoV限制图像[32]。使用42，056个晴天图像来训练E天空2和E太阳2达11个时期。此外，用于估计太阳位置的网络Epos在相同的42，056张晴天图像上进行训练。在16个时期之后获得Epos的收敛使用15，750张这些网络都是使用Adam优化器[14]训练的，其中β=（0. 5，0。999）和0.0001的相同学习率。6. 户外照明编辑我们的HDSky实现了所需的解缠，可用于两种适用场合。在压缩阶段，HDSky得到的解缠矢量可以直接编辑，生成更多符合物理规律的全景图，从而扩展室外HDR15319晴/100多云/100全景渲染全景渲染[9]第一章20.520.63321.861.155SkyNet [8]10.690.4440.3140.101我们9.7560.1720.2470.030表1. (Top)HDSky和SkyNet之间的全景反射的定量比较[8]。（底部）消融研究。RMSE用于衡量重建质量（↓更好）。表2.室外光照预测中不同方法的均方根误差定量比较我们的HDSky预测器的性能明显优于其他方法。Hold-Geoffroy等[9]由于分析模型的限制，在多云条件下会严重退化。图4.的全景图重建的视觉比较输入图像GT OursSkyNet [8][9]第一章我们的HDSky和SkyNet [8]。左下角的误差显示了我们重建的更高精度。全景。在光照预测阶段，如果我们的HDSky预测器的预测光照偏离AR渲染中的地面实况光照，则用户可以使用HDSky编辑器来方便地调整预测光照以确保渲染的一致性。我们的HDSky编辑器为用户提供了明确的参数进行交互。具体地，可以修改由HDSky的AE2生成的太阳强度矢量，以直观地编辑由HDSky预测器预测的全景的太阳强度。 通过在全景图的再现期间直接修改太阳位置（参见图1的右上角），可以在全景图的再现期间直接修改太阳位置。2），太阳在预测全景图中的位置可以平滑地改变。此外，预测的全景的天空强度也可以用显式参数来编辑7. 实验在本节中，我们首先将我们的HDSky与SkyNet [8]进行比较，SkyNet是重建室外卫星图像的最先进的数据驱动天空模型。然后，与SkyNet [8]和经典分析模型相比，评估HDSky预测器在室外光照预测中的性能：Hold-Geoffroy 等 人 的 方 法 。 [9] 的 文 件 。 最 后 ， 对HDSky编辑器和HDSky的去纠缠性能进行了评价。还进行了消融研究。图5.不同方法预测室外照度的直观比较RMSE错误报告在渲染图像的左下角。7.1. HDSky的重建质量我们定量评估HDSky的重建质量，并将其与SkyNet[8]进行比较，后者利用单个潜在向量来压缩室外照明。采用来自Laval天空数据集[15]和SUN 360- HDR数据集[8]的两个测试集。一个包含50个晴天HDR照片（晴天/50），另一个包含50个多云HDR照片（多云/50）。还使用与这些全景图合成的渲染图像。然后，我们采用RMSE对这些照片和渲染图像量化的性能不同的方法。如表1所示，由于户外照明的解纠缠表示，我们的HDSky表现明显优于SkyNet [8]。图4显示了来自SUN 360- HDR数据集[8]的一些视觉示例。RMSE方面的误差显示在渲染图像的左下总的来说，我们的HDSky比SkyNet [8]实现了更高的重建质量，具有更准确的阳光强度，阴影和阴影。由于HDSky将天空和太阳信息分离，消除了两个因素之间的相互影响。例如，HDSky可以更准确地重建最右列的全景，其中太阳被建筑物阻挡并且天空主导整个全景。0.0080.0170.0150.0400.0100.1640.0830.0570.0940.3860.6070.0840.4580.8990.0130.0550.5240.0130.2540.685天网我们GT阳光/50多云/50全景渲染全景渲染SkyNet [8]1.5320.0720.0580.030HDSky0.5690.0250.0500.017-L信息-Lsun-P位置0.7850.7570.7740.0280.0330.026––––––15320×PLL[9]第八届全国政协副主席。图6.从SUN360数据集的相同全景图中对不同视点的不同方法进行视觉比较[32]。与其他方法相比[8，9]，我们的HDSky预测器生成器-图7.虚拟对象插入演示得益于我们的HDSky，不同的虚拟对象（马和龙）被插入到真实场景中，并具有一致的阴影和阴影。在不同的天气条件下。7.3. HDSky编辑我们进一步评估如何以及HDSky解开每个从一个视点到另一个视点的平滑过渡因子（天空矢量z天空，太阳位置zPOS和太阳7.2. HDSky预测器为了评估HDSky预测器从单个图像预测解纠缠照明的性能我们构建另外两个测试集：100个晴天图像（晴天/100）和100个多云图像（多云/100）。表2中列出了用于从单个图像预测室外照明的不同方法的定量比较。结果表明，我们的HDSky预测器在预测的全景图和渲染的图像上优于其竞争对手[9，8]。因为分析模型不能完全捕获具有很少参数的真实世界照明条件的复杂性，所以Hold-Geoffroy等人的方法的RMSE是不精确的。[9]远高于我们的HDSky预测值，尤其是在多云图像上由于解纠缠表示，我们的HDSky图5示出了在不同天气条件下不同方法之间的定性比较。与竞争对手相比，我们的HD-天空预测器以更高的精度估计室外照明[9，8]。Hold-Geoffroy等人的方法。[9]为晴天图像和多云图像生成非常强烈的太阳光。由于SkyNet [8]使用单个向量来表示室外光照，因此太阳和天空纠缠在一起，这降低了室外光照预测的准确性。例如，SkyNet [8]在图1的前两行中预测不准确的太阳强度和太阳高度。5.此外，SkyNet [8]从最后一行的多云图像中预测了一个不合适的太阳。相比之下，我们的HDSky预测器在不同的天气条件下产生合理的阴影和阴影。此外，我们的HDSky预测器生成准确的室外照明，并在视点变化时提供一致的阴影和阴影（见图11）。（六）。另外，Fig. 7显示了我们的HDSky预测器的估计照明强度可以在真实世界的图像上提供合理的阴影。矢量z太阳）并生成逼真的全景图。我们对HDR全景图上的每个因素的分解在图中示出。8. 对于每个子图，顶行和最左列中的全景（具有红色框）是重建的全景。在左上角指示从每个重建的全景中取得的特定因子。例如，在（a）中，天空取自顶行，而太阳位置和太阳取自最左列。我们可以通过改变（a）z天空、（b）z位置和（c）z太阳来改变重建全景图的天空、太阳位置和太阳，以获得3 × 3区域中的合成全景图。令人印象深刻的是，我们的HDSky可以生成逼真的不同的全景通过修改的潜在向量。我们的HDSky编辑器为用户提供了明确的参数视觉上平滑的过渡如图所示9，其中左上角的图像的预测照明我们可以直接修改太阳强度，并平滑地改变预测全景的太阳强度，而不影响天空信息（第一行）。此外，改变太阳的方位角和仰角（最后两行）将不会影响任何其他信息，这是由于太阳位置与室外全景的完全分离。7.4. 消融研究HDSky的AE1使用三个关键组件：信息理论info的损失、太阳损失sun和太阳位置图pos。为了证明其有效性，我们进行了一些消融研究，从我们完整的AE1中删除了其中的每一个。表1中的底部部分证明了所有组件对于训练AE1是必要的。否则，不能正确地学习解缠，并且重构质量将降低。图中示出了几个视觉示例。10.结果表明，在不同的光照强度下，完整的AE1图像为了与SkyNet [8]进行公平的比较，我们设置了15321×0.0270.1770.0530.1150.0250.0290.1060.1660.0240.0720.1130.162z位置，zsunz天zsky，zposz孙z天空，z太阳n zPOS(a) 改变zsky（天空）（b）改变zpos（太阳位置）（c）改变zsun（太阳）图8.改变单个照明因子。重建的全景图用红框表示。左侧/顶部的重构全景为每个合成全景提供两个/一个因子。中间的3 - 3幅全景图是具有改变的因子的合成全景图。左边2个子图中的全景图来自Laval天空数据集[15]，最右边的来自SUN 360-HDR数据集[8]。（一）(b)(c)图9.HDSky编辑器的直观编辑示例（a）用给定图像的预测全景生成红色框中的渲染图像。更改预测全景的太阳强度会生成平滑过渡。我们还可以平滑地编辑太阳方位角（b）和太阳仰角（c），而不影响任何其他信息。GT Ours-左侧信息 -左侧太阳-P位置图10.AE 1关键组件消融研究的目视比较。由AE1压缩到64的所有解纠缠向量的维度。其中，天气矢量和太阳位置的维数分别为1和2。在我们当前的实现中，天空矢量zsky和太阳矢量zsun的维度分别被设置为8和53。为了证明这种分配的有效性，我们训练了另外4个管道，它们具有不同的z天空和z太阳的维度比率（16：45，24：37，32：29，48：13）。采用RMSE度量表3中报告的300个随机选择的阳光充足的图像的误差表明，比率8：53导致最佳的估计质量。表3.z天空不同维数比的烧蚀研究和太阳的位置。7.5. 局限性和今后的工作尽管它的成功，我们的HDSky遭受以下限制。如图5，虽然我们的HDSky预测器比其他方法估计更准确的照明，但它有时无法准确预测太阳形状（第三行）。在未来，我们将探索太阳的形状与其他因素（例如太阳的形状）之间的关系。太阳位置和太阳强度）来解决问题。开发统一的表示来处理室外和室内照明也是8. 结论在本文中，我们提出了一个分层的非纠缠天空模型的户外照明压缩成几个有意义的矢量每个晴朗的全景。设计了一个分层的框架来估计来自每个晴天图像的个体特征向量，并基于天空模型生成室外光照。对于多云图像，我们只预测天空信息。我们进一步展示了该模型如何生成逼真和多样化的户外全景，并提供了明确的参数，直观地编辑预测的户外照明。天空模型允许我们更忠实地表示室外照明，并支持全天候条件。如通过广泛的定量和定性评估所证明的，我们的分层解纠缠天空模型优于先前的分析模型和数据驱动模型。9. 确认我们要感谢匿名评论者的宝贵意见。本工作得到了国 家 自 然 科 学 基 金 （ 62032011 ， 61972194 ，61772257）的资助。z天空：z太阳八点五十三分十六点四十五分二十四点三十七分三十二点二十九分48：1315322引用[1] 放大图片作者：Guha Balakrishnan，Amy Zhao，AdrianV.达尔卡，弗雷多·杜兰德，约翰·古塔格.合成人类在看不见的姿势的图像。在IEEE计算机视觉和模式识别会议上，第8340-8348页[2] 乔纳森·T.巴伦和吉坦德拉·马利克来自单个RGB-D图像的内在场景 在IEEE Conference on Computer Vision andPattern Recognition，第17-24页，2013中。[3] 乔纳森·T.巴伦和吉坦德拉·马利克形状、照明和着色的反射率。IEEE传输模式分析马赫内特尔，37（8）：1670[4] 丹·A Calian，Jean-Fran coisLalonde，PauloF. 联合放大图片创作者：Thomas Simon.马修斯和肯尼·米切尔从面部到室外光探头。Comput. Graph. Forum，37（2）：51 -61，2018.[5] Xi Chen，Yan Duan，Rein Houthooft，John Schulman，Ilya Sutskever，and Pieter Abbeel. Infogan：通过信息最大化生成式对抗网络进行可解释的表示学习在神经信息处理系统的进展29：2016年神经信息处理系统年会，第2172-2180页，2016年。[6] Dachuan Cheng ， Jian Shi ， Yanyun Chen ， XiaomingDeng，and Xiaopeng Zhang.通过前后移动摄像机的成对照片学习场景照明。Comput. Graph. Forum，37（7）：213 -221，2018.[7] Stamatios Georgoulis 、 Konstantinos Rematas 、 TobiasRitschel、Efstratios Gavves、Mario Fritz、Luc Van Gool和Tinne Tuytelaars。使用深度学习实现单一材质镜面反射 物 体 的 反 射 率 和 自 然 照 明 IEEE Transactions onPattern Analysis and Machine Intelligence，40（8 ）：1932[8] Yannick Hold-Geoffroy、Akshaya Athawale和Jean-Fran coisLalonde。用于单图像户外照明估计的深度SK Y建模在IEEE计算机视觉和模式识别会议上，第6920-6928页[9] Yannick Hold-Geoffroy 、 Kalyan Sunkavalli 、 SunilHadap、EmilianoGambaretto和Jean-Fran c oisLalonde。深度室外照明估计。在IEEE计算机视觉和模式识别会议上，第2373-2382页，2017年。[10] 卢卡斯·霍塞克和亚历山大·威尔基 全光谱天幕辐射的解析模型。ACM事务处理图表，31（4）：95：1[11] 高煌，刘庄，劳伦斯·范德马腾，和基利安·Q.温伯格密集连接的卷积网络。在IEEE计算机视觉和模式识别会议上，第2261-2269页[12] Tero Karras Samuli Laine和Timo Aila一个基于样式的生成器架构，用于生成对抗网络。在IEEE计算机视觉和模式识别会议上，第4396-4405页[13] Karsch Kevin、Kalyan Sunkavalli、Sunil Hadap、NathanCarr、Hailin Jin、Rafael Fonte、Michael Sittig和David A.福赛斯三维物体合成的自动场景推理。ACM事务处理图表，33（3）：32：1[14] Diederik P. Kingma和Jimmy Ba。Adam：随机最佳化的方法。2015年第三届学习表征国际会议[15] Jean- FrancoisLalonde、Louis-PhilippeAsselin、JulienBe-cirovski 、 Yannick Hold-Geoffroy 、 Mathieu Garon 、Marc- Andre´ Gardner和Jinsong Zhang。拉瓦尔HDR天空数据库，2015年。[16] 我是弗朗索瓦·拉隆德，我是A. Efros和Srin iv asaG. 纳拉希姆汉从单个室外图像估计自然光照条件。国际计算机Vision，98（2）：123 -145，June 2012.[17] Je a n-Fran coisLalondeandIainMatth e ws. 室外图像采集中的照明估计在International Conference on 3D Vision，第131-138页[18] Chloe LeGendre 、 Wanchun Ma 、 Graham Fyffe 、 JohnFlynn、Laurent Charbonnel、Jay Busch和Paul Debevec。Deep- light ： Learning illumination for unconstrainedmobile mixed reality.在IEEE计算机视觉和模式识别会议上，第5911-5921页[19] Chloe LeGendre 、 Wanchun Ma 、 Rohit Pandey 、 SeanRyan Fanello、Christoph Rhemann、Jason Dourgarian、Jay Busch和Paul E.德贝维克从不同的肖像中学习照明。CoRR，abs/2008.02396，2020。[20] 李宇恒，Krishna K. Singh、Utkarsh Ojha和Yong J.李你Mixnmatch：多因素解纠缠和编码，有条件的图像生成。在IEEE计算机视觉和模式识别会议上，第8036-8045页[21] Daquan Liu ， Chengjiang Long ， Hongpan Zhang ，HanningYu，XinzhiDong，andChunxiaXiao.Arshadowgan：阴影生成对抗网络，用于单光场景中的增强现实。在IEEE计算机视觉和模式识别会议上，第8136-8145页[22] 斯蒂芬·隆巴迪和西野光野外反射率和照明恢复 IEEETrans. 模式分析马赫内特尔，38（1）：129[23] 卢克的霍塞克和亚历山大·威尔基。向hos ˇek-wilkie天光模型中添加太阳辐射函数IEEE Computer Graphics andApplications，33（3）：44[24] Xi Peng，Xiang Yu，Kihyuk Sohn，Dimitris N. Metaxas和Manmohan Chandraker基于重构的去纠缠方法用于姿态不变人脸识别。在IEEE国际计算机视觉会议上，第1632-1641页，2017年。[25] 理查德·佩雷斯，罗伯特·西尔斯，约瑟夫·麦考斯基。天空亮度分布全天候模式初步配置与验证。太阳能，50（3）：235[26] Arcot J. Preetham，Peter Shirley，and Brian Smits.日光实 用 分 析 模 型 。 在 Proceedings of the 26 th AnnualConferenceonComputerGraphicsandInteractiveTechniques，第91-100页[27] Konstantinos Rematas ，Tobias Ritschel ， Mario Fritz ，Efstra- tios Gavves，and Tinne Tuytelaars.深层反射图。在 IEEE Conference on Computer Vision and PatternRecognition，第4508-4516页[28] PinarSatilmis ， ThomasBashford-Rogers ， AlanChalmers，and Kurt Debattista.机器学习驱动的天空模型。15323IEEE Computer Graphics and Applications，37（1）：80-91，2017。[29] Davoud Shahlaei和Volker Blanz。现实的逆光- ING从一个单一的二维图像的脸，采取未知和复杂的照明。在IEEEInternationalConferenceandWorkshopsonAutomatic Face and Gesture Recognition，第1-8页[30] 沈贤静面作为重新照明的光探针Optical Engineering，51（7）：1[31] 克里希纳K. Singh、Utkarsh Ojha和Y