学习分离单个图像中的多个光源

1学习分离单个图像中的多个光源Zhuo Hui，1Ayan Chakrabarti，2Kalyan Sunkavalli，3和Aswin C.卡耐基梅隆大学卡内基梅隆大学卡内基梅隆大学路易3Adobe Research摘要我们提出了一种方法来分离一个单一的图像下拍摄的两个光源，具有不同的光谱，到两个图像对应的外观的场景下，每个单独的光源。 我们通过训练一个深度神经网络来预测场景的每像素反射色度，我们在基于物理的图像分离框架中使用它来产生所需的两个输出图像。我们设计我们的反射，色度网络和损失函数，结合直观的物理成像。我们表明，这导致显着更好的性能比其他单一的图像技术，niques，甚至接近的质量，需要额外的图像之前的工作。1. 介绍自然环境通常由具有不同发光光谱的多个光源照亮。根据场景的几何形状和材质属性，这些灯光中的每一种都会导致不同的光传输效果，如颜色投射、着色、阴影、镜面反射等。场景的图像组合了来自存在的不同光的效果，并且是在每个单独的光下捕获的图像的叠加。我们试图颠倒这种叠加，即，将在具有不同光谱的两个光源下观察到的单个图像分离成两个图像，每个图像对应于仅在一个光源下的场景的外观。这种分解可以使用户能够编辑和重新照亮照片，以及提供用于光度分析的信息。然而，表面的外观不仅取决于光源的特性，还取决于其几何和材料特性。当所有这些量都未知时，解开它们是一个显著不适定的问题。因此，过去实现这种分离的努力严重依赖于大量的手动注释[8，7，9]或对校准场景和照明信息的访问[12，11]。最近，Hui etal.[24，25]证明，如果另外知道所有表面的反射色度，则(a) 输入图像（b）输出分离的图像图1.我们的方法将在具有不同光谱的两种光源（这里是太阳和天空照明）下捕获的单个图像（a）分离成对应于在各个灯光下的场景外观的两个图像请注意，我们能够准确地保留每个灯光的阴影和阴影。点-他们通过在闪光灯下捕捉同一场景的第二张图像来恢复。假设闪光图像在他们的处理流水线中仅用于估计反射色度，我们是否可以从单个图像计算估计反射色度，从而避免一起捕获闪光照片的需要？这将大大增强该方法的适用性，特别是对于用闪光灯充分照亮每个像素具有挑战性的场景;例如当闪光不够强、场景很大或环境光源太强时。我们的工作也受到深度卷积神经网络成功解决内在分解[32，43]和反射率估计[41，36，34]等密切相关问题的激励;因此，我们提出训练深度卷积神经网络来执行这种分离。然而，我们发现，标准的架构，训练只与最终分离的图像的质量，是无法学习有效地执行分离。因此，我们使用基于物理的任务分析来指导我们的网络设计[25]，以匹配预期的推理步骤序列和中间输出-反射色度，着色色度，分离的着色图和最终分离的图像。除了确保我们的体系结构能够表达这些所需的计算之外，这种分解还允许我们在37803781我们的网络，这证明是成功培训的关键。一旦经过训练，我们发现我们的方法能够成功地完全解决这个不适定问题，并产生高质量的照明分解，如图1所示，捕获复杂的阴影和阴影。事实上，我们的网络能够匹配，并在特定情况下优于Hui等人的结果质量。的双图像方法[25]，尽管只需要一个单一的图像作为输入。捐款.我们做出以下贡献。1. 我们介绍了一种基于学习的方法，用于将单个图像分离为两个图像，每个图像由不同光谱的光源照射。2. 我们在网络设计和训练中加入了基于物理的约束，这是我们方法成功的关键3. 我们展示了广泛的应用，包括白平衡，太阳/天空分离的户外场景的方法的实际效用。2. 相关工作从一幅图像中估计光照和场景几何形状是一个高度不适定的问题。以前的工作都集中在这个问题的特定子集，我们讨论了以前的工作照明分析，以及先前的内在的图像分解方法，旨在共同估计照明和表面反射率。照明估计。从单个照片估计环境照明一直是计算机视觉和计算机图形学中的长期目标。许多过去的技术已经研究了颜色恒常性[18] -去除环境照明的色偏的问题。一种流行的解决方案是使用单个主导光源对场景进行建模[15，14，17]。为了处理场景中光源的混合物，以前的作品[13，19，37]通常用不同但单一的光源来表征每个局部区域。然而，这些方法不能很好地推广到多个光源平滑混合的场景。为了解决这个问题，Boyadzhiev等人。[10]利用用户涂鸦来指示场景属性，例如白色表面和恒定照明区域。Hsu等人[23]提出了一种解决场景中两个光源混合的方法;然而，它们需要精确了解每个照明的颜色。Prinet等人[35]通过利用场景反射率的一致性，从图像序列中解析两个光源的颜色色度Sunkavalli等人[40]演示这一点（和图像分离）的时间推移序列的户外场景。同时，已经开发了许多技术来对场景的照明进行解释性建模，而不是重新移动光源的颜色Lalonde等人[31]亲-设置参数模型的姿势以表征户外照片的天空和太阳。Hold-Geoffroy等人[22]通过引入深度神经网络，扩展了对室外照明建模的想法。Gardner等[16]类似地训练深度神经网络以从单个LDR照片恢复室内照明。相比之下，我们的方法不显式地对光源进行建模，而是直接回归单光源图像。内在图像分解。本征图像分解方法寻求将单个图像分离成反射层和照明层的产物。这个问题通常通过假设场景的反射率分段恒定而照明平滑变化来解决[4]。几种方法通过进一步对非局部反射率[42，38，5]或对用不同照明捕获的图像序列的反射率的一致性施加先验来建立这一点[30，21，26]。内在图像方法中的一个常见假设是场景由单个主导光源照亮。这并不能推广到经常用具有不同光谱的多个光源照明的真实世界场景最近的方法提出使用深度神经网络，用大量数据训练，来解决这个问题[43，32，33]。虽然有效，但这些技术也专注于用单个光源照明的场景Barron和Malik[2，3]通过将全局照明模型与手工制作的先验结合来解决这个问题。虽然这种照明模型适用于单个对象，但它无法捕获高频空间信息，例如经常出现在真实场景中的阴影。相比之下，我们的技术可以很好地推广到使用多个光源混合物照明的复杂场景。此外，与预测场景的反射率相反，我们的方法只需要预测其色度，这是一个更容易解决的问题。3. 问题陈述我们的目标是作为输入，一个单一的照片照亮的场景由两个光源的混合物，并估计每个光源照亮的图像。在本节中，我们建立了图像形成模型，并描述了我们施加的物理先验来监督网络产生的中间结果。我们采用Hui等人的图像形成模型[25]通过假设场景是朗伯的并且由三通道彩色相机成像。然而，我们没有使用子空间对无限维光谱进行建模，而是假设相机的颜色响应是窄带的，从而使我们能够在RGB。也就是说，在单个图像中的像素p处观察到的强度是3782ChromNetShadingNetSeparateNet输入RGB图像反射色度输入监督ci=1。 与Hui et al相似。[25]我们假设，λi（p）λcK九月，k我K我我项λi（p）是在像素p处观察到的由于C我我CRGB图像反射色度照明阴影分离图像照明阴影分离的图像图2.给定由两种光的混合物照亮的单个图像，我们的方法自动产生由这些光源中的每一个照亮的图像我们用三个特定的任务训练一个由三个子网络组成的级联。首先，我们通过ChromNet估计场景的反射颜色色度。鉴于此估计，我们将其与输入RGB图像连接起来，并将其馈送到ShadingNet中以预测光源阴影。我们将这些附加到输入图像，并将其传递给SeparateNet以产生输出。在训练过程中，我们监督反射色度，照明阴影和分离的图像。照片I由以下人员提供Σ我第1步-闪光至反射色度。 给定闪光颜色，纯闪光照片使我们能够估计反射色度，αc（p），定义为：Ic（p）=Rc（ p）λi（ p）<$c，其中c∈{r，g，b}，（1）i=1cRc（p）R g Bα（p）=<$Rc<$（p）。（三）其中R（p）=[R（p），R（p），R（p）]是三色反照率 在我们的工作中，我们关注的是被N=2个光源，我们表示光色-如：（1）。 注意，如果R=[Rr，Rg，Rb]∈R3，c~步骤2 -估计着色色度。反射色度αc（p）可以用来去除贡献C c c我的天如下所示。 我们定义β（p）= I（p）/α（p）并将其归一化以获得如下的着色色度：光源色度是唯一的，即，2012年12月2日。该公司第i个光源乘以光源亮度。γ（p）=γβc（p）=λ（p）=zi（p）i，（4）假设两个具有相同颜色的光源聚集在一起，着色项λi（p）与照明几何形状有复杂我们的目标是将对应于每个光源k的分离图像计算为：吉吉我我其中zi（p）=λi（p）/（λiλi（p））是相对阴影。步骤3-估计相对阴影。整个图像的着色色度直方图可以拟合到多光源模型（详见[25]），以估计照明。I^c（p）=Rc（p）λ（p）<$c。（二）每个光源的最小阴影Sc，定义为：为了解决这个问题，Hui et al.[25]第25话一个人的幸福Sc（p）= zi（p）<$c。（五）在闪光灯照明下老化，以直接计算每个像素的反射色色度他们用这些来歧视-将反射率与照明阴影相结合，并求解Nβc（p）Σ3783然后可以将分离的图像恢复为：c cSc（p）K每个光源的颜色以及每个像素的颜色，I^sep，k（p）=I（p）<$NSc（p）.（六）每个光源的亮度。我们在下面提供了他们计算管道的关键步骤的快速总结，并请读者参阅他们的论文以了解更多细节。i=1i在本文中，我们通过模仿上述推导中的步骤来设计我们的网络，但每个处理元素都是3784替换为深度网络，如图2所示。特别地，我们利用三个子网络- ChromNet，ShadingNet和SeparateNet-分别估计反射色度，照明阴影和分离图像。ChromNet预测反射色度α的值，定义在（3）中，其输入是我们试图分离的RGBShadingNet作为ChromeNet的输出与输入RGB图像连接，以回归（5）中的光源阴影。最后，Sepa-rateNet收集估计的光源阴影以及输入RGB图像来估计分离的图像。4. 学习光源分离我们现在讨论我们提出的将输入照片分解为由单个光源照亮的图像的方法，包括我们如何生成具有地面真实场景注释（用于反射率和阴影）的训练数据，以及我们如何为这个问题设计我们提出的深度神经网络。4.1. 生成训练数据集我们利用CGIntrinsics [32]和Flash/No-Flash [1]的数据库来生成具有（近似）地面真实反射色度、光源阴影和分离图像的图像。图3显示了每个数据集的训练数据示例。CGIintrinsics数据集由SUNC的20160个渲染场景组成[39]。它提供了地面真实反射率，因此，反射色度。然后通过（4）估计阴影色度。Flash/No-flash数据集由2775个图像对组成我们将反射色度估计为纯闪光图像的颜色色度，这是闪光和无闪光照片之间的差异我们偶尔观察到，该数据集中的大多数场景仅由单个光源照亮-因此，这对于我们的应用程序来说并不有趣。为了解决这个问题，我们将闪光灯图像添加回无闪光灯图像，并创建由两个光源照明的照片。通过改变闪光灯照片的颜色，我们可以增强训练数据的量;这使我们能够生成29060个输入输出对，其中输入是照片，输出是反射率色度，一对对应的照明阴影以及分离的图像。4.2. 网络架构如图2所示，我们使用深度神经网络来匹配第3节中分离算法的计算。具体来说，我们的网络由三个子网络组成，分别产生反射色度，照明阴影和分离图像。ChromNet。我们设计了第一个子网络，以显式地估计反射色度（3），(a) 输入（上）/（b）照明体（c）分离的色度（下）阴影图像图3。我们展示了来自CGIntrin-sics（顶部）和Flash/No-flash数据库（底部）的每个训练对样本。给定输入照片（a），我们使用反射色度与照明阴影（b）和分离图像（c）来监督网络的输出。放彩色图像。这本质上要求网络解决估计和消除仅给定单张照片的照明色偏的不适定问题。我们采用了类似于Johnson等人的架构。[28]以将输入图像映射到三通道反射色度图。1影网。我们框架中的第二个子网络将反射色度估计值作为输入，并求解（5）中的两个光源阴影。根据第3节，我们期望该计算的第一部分涉及根据色度和原始输入在纯粹的每像素基础上根据（4）导出γ然而，我们发现显式计算γ值会导致训练不稳定，可能是因为这涉及除法。相反，我们通过将输入图像与估计的色度连接起来，生成一个通用特征图，用于对γ信息进行编码（注意，我们不要求它与γ值精确对应）。给定这个特征图，我们的第二个子网络产生两个独立的光源阴影图。由于这需要全局推理，我们使用了类似于Isola的像素到像素网络的架构1补充材料中提供了每个子网结构的详细说明。CGIntrinsics闪光/不闪光闪光/不闪光 CGIntrinsics3785我我等人[27]要有一个大的接受域。分离网。给定光源阴影和精确估计的反射色度，最后的计算步骤是产生分离的图像。在这里，我们使用一系列逐像素的层来表达（6）中的计算。我们的第三个子网络将两个预测的着色图和输入的RGB照片连接成一个九-通道输入，并使用三个1×1卷积层产生对应于两个最终通道的六通道输出。分离的RGB图像鼓励空间平滑着色解决方案（如在现有的固有图像工作中通常所做的）。然而，网络输出两个潜在的相对阴影，并且交换这两个预测不应该引起任何损失。为了解决这个问题，我们将损失函数定义为LS= min {LS11+ LS22， LS12+ LS21}其中LSij表示第i个输出与（5）中定义的第j个光源阴影之间的损失具体地，LSij被定义为LSij=Ldata（i，j）+Lgrad（i，j），其中请注意，我们的第一个子网络的输出-反射色度-是足够的执行分离使用的方法Hui等人。[25 ]第20段。然而，培训1L数据（i，j）=MΣMu=1∗Si，u−cS Sj，u<$2，（8）这种直接基于反射率色度估计的质量的子网络证明是不够的，因为FI，最终分离的图像质量会不同程度地降低，Lgrad（i，j）=ΣLt=11吨Mtu=1∗Si，t，u−cS色度估计中的不同类型的误差。因此，我们的目标是改为训练反射率色度估计子网络，使其对最终分离质量是最佳的。不幸的是，[25]中的分离算法具有不可微的处理步骤，以及产生不稳定梯度的其他计算。因此，我们使用两个额外的子网络来近似Hui等人的处理s算法[25]。然而，一旦训练，我们在此，Sj表示第i个光源阴影预测，而Sj是地面实况，并且cS是补偿光源亮度的全局尺度。分离净损失。我们的损失为两个分离的图像 与影网的损失类似LI= min {LI11+ LI22， LI12+ LI21}，发现直接使用[25]中的精确算法的反射色度估计是最佳的，在输出上其中LIij 是2001年损失具体来说，L Iij 被定义为这些子网络。4.3. 损失函数1LIij=MΣMu=1∗Ii，u−cI Ij，uChromNet损失。对于反射率色度估计任务，我们使用尺度不变损失。我们还在梯度域中引入了λ1特别地，我们将损失函数定义为其中，I表示第i个分离的图像预测，而Ij是第j个光源的基础事实，并且CI是全局强度差的比例因子。Lα=1ΣMMi=1∗αi −cα αiβ1ΣL+t=11吨Mti=1∗ǁ∇αt,i −cα at，i 2001年，（七）培训详情。我们将训练图像的大小调整为384 ×512我们使用Adam优化器[29]来训练我们的网络，β1=0。五、 初始学习率设置为5×10- 4对于所有子网。我们降低了学习率其中，α表示预测的色度，α是提供的地面实况，并且cα是用于补偿全局尺度差异的项，其可以通过最小化来估计。正方形我们还使用掩模来忽略像素处的损失，其中我们没有可靠的基础事实（例如，接近黑色的像素或对应于SUNC数据集中的室外环境图的像素）。M表示图像中有效像素的总数。类似于Li等人的方法。[32]中，我们包括多尺度匹配项，其中L是指定的层的总数（在论文中为3），Mt表示未被屏蔽为无效像素的相应像素数。ShadingNet损失。我们对绝对值和相对阴影的梯度都施加了102的这3786在35个时期后减少了1/10。然后我们用降低的学习率训练5个epoch。我们确保我们所有的网络都与此方案融合。5. 评价我们现在提出了一个广泛的定量和定性评价我们提出的方法。请参阅我们的补充材料，了解更多详情和结果。5.1. 测试数据集合成基准数据集。 为了定量评估我们的方法，我们利用[6]的高质量合成该数据集大约有52个场景，每个场景在几个不同的单一光源下渲染。我们首先3787名称网络架构监督仅铬ChromNet色度仅最终版本ChromNet + ShadingNet + SeparateNetSep. 图像全直接ChromNet + ShadingNet + SeparateNet色度+阴影+分离图像SingleNet单一UnetSep. 图像表1.具有不同监督的拟议网络架构的变体版本对同一场景的每个图像进行白平衡，然后用预先选择的光色调制白平衡图像然后，通过添加成对的这些分离的图像来创建输入图像，每个图像对应于场景中的一个灯。我们在数据集中产生了400个测试样本，并使用反射率色度的地面真实值和分离结果来评估我们的方法。真实数据集。我们还评估了我们提出的技术在室内和室外场景捕获的真实图像具体来说，我们利用Hui等人收集的室内场景数据集。[25]以及用于户外场景的延时视频。Hui等人[25]为同一场景捕获了一对闪光灯/无闪光灯我们将数据集中的无闪光图像作为网络的输入。对于延时视频，每个帧都用作测试输入，如图1（a）所示。误差度量。 我们表征的性能，我们的ap-proach上的反射率，色度和分离的图像。 我们采用误差为0.01的方法来定量衡量反射色度的性能。为了评估分离结果的性能，我们计算分离结果相对于地面真实值的误差：损失=min{EI1，1+EI2，2，EI1，2+EI2，1}（11）其中，E表示两个图像之间的 我们使用全局尺度不变损失，因为我们最感兴趣的是捕获两个图像之间的相对变化。5.2. 综合基准的定量结果在表2中，我们报告了我们的方法的性能，并将其与几个基线进行了比较（总结在表1中）。首先，我们要明确监管的重要性。我们为我们的网络训练不同的模型：完全监督，仅监督最终分离图像的质量（仅最终），并且仅训练第一子网络，即，ChromNet，仅对反射色度进行监督（仅Chrom-Only）。此外，对于我们的全监督模型（Full），我们考虑使用由我们的全网络（Full- Direct）直接预测的分离图像，以及仅采用反射率色度估计并使用Hui等人的方法。S算法[25]-其中†使用附加信息作为输入。表2.我们测量我们的网络版本的性能-用不同种类的监督进行训练，并使用不同的方法来执行分离-以及其他基线。这里报告的是两个估计的反射色度（可用时），以及最终分离的图像的包括更复杂的处理-执行分离（Full+[25]）。对于仅具有色度监督的模型，我们还使用[25]执行分离，对于仅最终监督模型（其中中间色度没有意义），我们只考虑最终输出。我们发现，在完全监督下训练的模型在最终分离图像的质量方面具有最佳性能。有趣的是，Chrom-Only模型在预测色度方面更好，但正如预期的那样，这并不能转化为更高质量的图像输出。尽管在质量方面受过培训，但仅最终模型也会产生更差的分离结果，这突出了中间监督的重要性。最后，我们发现使用我们的完整模型与[25]相结合，比直接使用网络的最终输出 产 生 更 好 的 结 果 因 此 ， 我 们 最 终 的 子 网 络（ShadingNet和SeparateNet）只能近似[25]因此，在我们的框架中，它们的主要好处是允许反向传播以最佳分离的方式为色度估计提供监督。我们还包括与具有更传统架构（而不是三个子网络）的网络的比较，方法色度分离图像提出仅铬[25]第25话最后一句0.0308-0.05370.05370.03980.03510.02880.0207SingleNetShen 等 人[38]贝尔等人。[5] Li et al.[32个]-0.08210.07850.08330.06790.07910.07630.0821[2] Hsuet al.[23日][2] Huiet al.[25日]--0.06780.01013788(a) 输入（b）SingleNet（c）仅最终(d)全直接（f）全+（Full+）[25]图4.定性比较我们的网络的不同版本的图像分离结果，以及单一编码器-解码器架构网络（SingleNet）。我们看到，SingleNet（b）和Final-only（c）模型都未能将光源阴影的影响与输入分开。我们的仅色度模型（d）产生了更好的结果，但在某些区域有严重的伪影-突出显示更好的色度估计并不能带来更好的分离。我们的模型在完全监督下的结果产生了最好的结果-当我们结合[25]使用其色度输出时，阴影和阴影效果的分离更好。直接分离（SingleNet）。我们使用与ShadingNet的编码器-解码器部分相同的架构，并仅在最终分离的输出上进行监督。我们发现，这表现得明显更差（甚至比Final-Only），说明了我们的物理驱动架构的实用性。最后，我们还包括与基线的比较，其中使用不同的固有图像分解方法[38，5，32]来估计来自单个图像的反射色度，并且这些方法用于[25]的分离。我们发现这些方法在反射率色度估计和照明分离方面的精度较低，可能是因为它们像大多数内在图像方法一样，假设单个光源。最后，我们评估了两种方法，需要额外的信息超出了一个单一的图像：地面实况光的颜色许等人。[23]，以及一个闪光/无闪光对，它提供了直接访问反射色度，Hui等人。[25 ]第20段。我们产生的结果比[23]更好，但正如预期的那样，[25]产生了最准确的分离，因为它可以直接访问色度信息，但需要捕获额外的闪光图像。5.3. 真实数据的定性评价图4显示了我们网络（以及SingleNet）不同版本的真实图像结果，而图5将我们的结果与Hui等人的结果进行了比较。使用闪光灯/无闪光灯对时的方法[25]这些重新-结果证实了我们从表2中得出的结论-我们发现，我们的网络的版本在完全监督下进行了最佳训练，特别是当与[25]结合使用时，以执行与预测色度的分离。此外，尽管只需要一个单一的图像输入，它接近匹配Hui等人。s [25]性能与闪存/无闪存对。我们在图6中示出了一个示例，其中我们的方法提供了明显的优势，即使当具有闪光灯的图像可用时，但是当场景中的几个区域离闪光灯太远时。这导致了[25]中这些区域的伪影，而我们的方法能够执行更高质量的分离。6. 结论我们描述了一种基于学习的方法来分离图像中两个光源的照明效果。我们的方法依赖于使用基于深度神经网络的估计器，其架构是由基于物理的问题分析和相关的中间监督所驱动的。我们的烧蚀实验证明了这种监督的重要性。至关重要的是，我们表明，我们能够产生高质量的输出，匹配以前的方法，需要一个闪光灯/无闪光灯对的性能，同时更实际，只需要一个单一的图像。3789(a) 输入照片(b) Hui等人[25]（c）我们的成果图5.我们对Hui等人的闪光摄影技术进行了评估[25]。虽然所提出的方法可能会导致小的伪影在所得图像中，我们可以实现几乎相同的视觉质量作为Hui等人。[25]，它为同一场景拍摄了两张照片相比之下，通过使用一张照片，我们提出的技术产生了一个更实际的解决方案的问题。（a）投入（b）Hui等人[25]（一）结果图6.在该户外场景（a）中，相机闪光灯不足以照亮远处的场景点，导致使用Hui等人的基于闪光灯的方法的结果中的伪影。[25]（b）。相比之下，我们的方法只拍摄一张照片，不依赖于闪光灯照明。如（c）所示，可以消除伪影，并且视觉质量已经显著提高。致谢这项研究得到了国家地理空间情报局学术研究计划（Award No. HM0476-17-1-2000），NSF CA-REER授予CCF-1652569，以及Adobe重新搜索的礼物。Chakrabarti得到了NSF Grant IIS- 1820693的支持。3790引用[1] YagızAksoy ，ChangilKim，PetrKellnhofer ，SylvainParis ， Mohamed Elgharib ， Marc Pollefeys ， andWojciech Matusik.来自人群的闪光灯和环境照明对的数据集。在ECCV，2018。4[2] Jonathan T Barron和Jitendra Malik。颜色恒常性、内在图像和形状估计。在ECCV。2012. 2[3] Jonathan T Barron和Jitendra Malik。形状、照明和阴影反射。PAMI，37（8）：16702[4] H. Barrow和J.特南鲍姆从图像中恢复固有场景特征计算机视觉系统，1978年。2[5] Sean Bell，Kavita Bala，Noah Snavely.在野外的内在图像。TOG，33（4）：159，2014. 二六七[6] Nicolas Bonneel ， Balazs Kovacs ， Sylvain Paris ， andKavita Bala.用于图像编辑的内在分解。在2017年的计算机图形论坛上。5[7] 尼古拉斯·博内尔、卡利扬·桑卡瓦利、詹姆斯·汤普金、孙德庆、西尔万·帕里斯和汉斯佩特·菲斯特。交互式内置视频编辑。TOG，33（6）：197，2014. 1[8] AdrienBousseau，Sy l vainParis，andFre'doDurand. 使用r-辅助的内部映像。在TOG，第28卷，第130页，2009中。1[9] 我是波雅治，巴拉，西勒是帕里斯，杜兰神父混合照明条件下的用户指导白平衡。TOG，31（6）：200，2012.1[10] Ivaylo Boyadzhiev Sylvain Paris和Kavita Bala摄影照明的用户辅助图像合成。TOG，32（4）：36-1，2013. 2[11] 保罗·德贝维克将合成对象渲染到真实场景中：通过全局照明和高动态范围摄影将传统图形和基于图像的图形连接起来。在SIG中-GRAPH 2008类，第32页，2008年。1[12] 保罗·德贝维克灯光舞台及其在真实数字演员中的应用。SIGGRAPHAsia，2012. 1[13] 马克·艾伯纳 使用局部颜色偏移的颜色恒常性。在ECCV，2004年。2[14] Graham Finlayson，MS Drew，和BV Funt.通过传感器转换增强冯克里斯适应。1993. 2[15] Graham D Finlayson，Mark S Drew和Brian V Funt。对角变换满足颜色恒常性。载于ICCV，1993年。2[16] Marc-Andre Gardner，Kalyan Sunkavalli，Ersin Yumer，Xi-aohui Shen，Emiliano Gambaretto，Christian Gagn和Jean- Franois Lalonde。学习从单个图像预测室内照明。TOG，9（4），2017. 2[17] Peter Vincent Gehler、Carsten Rother、Andrew Blake、Tom Minka和Toby Sharp。贝叶斯颜色恒常性的重新审视。CVPR，2008。2[18] A. Gijsenij，T. Gevers和J. van de Weijer。计算颜色恒定性：调查和实验。TIP，20（9）：2475- 2489，2011. 2[19] Arjan Gijsenij，Rui Lu，and Theo Gevers.多光源的颜色恒定性。TIP，21（2）：697-707，2012. 2[20] Roger Grosse，Micah K Johnson，Edward H Adelson，and William T Freeman.固有图像算法的地面实况数据集和基线CVPR，2009。[21] Daniel Hauagge ， Scott Wehrwein ， Kavita Bala ， andNoah Snavely. 光度学环境光遮挡。 CVPR，2013。2[22] Yannick Hold-Geoffroy 、 Kalyan Sunkavalli 、 SunilHadap、EmilianoGambaretto和Jean-Fran c oisLalonde 。深度室外照明估计。在CVPR，2017年。2[23] Eugene Hsu ， Tom Mertens ， Sylvain Paris ， ShaiAvidan，and Fredo Durand.用于空间变化白平衡的光混合估计在TOG，第27卷，第70页，2008中。二六七[24] ZhuoHui ， AswinC.Sankaranarayanan ， KalyanSunkavalli和Sunil Hadap。使用闪光摄影在混合照明下的白平衡。在ICCP，2016年。1[25] Zhuo Hui，Kalyan Sunkavalli，Sunil Hadap和Aswin C.桑卡拉纳拉亚南使用闪光摄影的基于光源光谱的源分离。在CVPR，2018年。一二三五六七八[26] Zhuo Hui，Kalyan Sunkavalli，Joon-Young Lee，SunilHadap，Jian Wang，and Aswin C.桑卡拉纳拉亚南利用brdfs的单变量采样捕获反射率。InICCV，2017. 2[27] Phillip Isola，Jun-Yan Zhu，Tinghui Zhou，and Alexei AEfros.使用条件对抗网络的图像到图像翻译。CVPR，2017年。5[28] 贾斯汀·约翰逊，亚历山大·阿拉希，李飞飞。实时风格转换和超分辨率的感知损失。在ECCV，2016年。4[29] Diederik P Kingma和Jimmy Ba。Adam：随机最佳化的方法。arXiv预印本arXiv：1412.6980，2014。5[30] 皮埃尔-伊夫·拉丰和让-查尔斯·巴赞。从局部时间变化的图像序列的内在分解。在ICCV，2015年。2[31] 让·弗朗·弗朗索瓦·拉隆德，Sriniv asaGNarasimhan，和阿列克谢·埃弗罗斯太阳和天空告诉我们关于相机的什么？IJCV，88（1）：24-51，2010. 2[32] 李正奇和诺亚·斯内弗利。Cgintrinsics：通过基于物理的渲染实现更好的固有图像分解。在ECCV，2018。一、二、四、五、六、七[33] 李正奇和诺亚·斯内弗利。从观察世界中学习内在的意象解构.在CVPR，2018年。2[34] 李正勤，Kalyan Sunkavalli，Manmohan Chan- draker.体量 材 料 ： 用 单 个 手 机 图 像 采 集 Svbrdf 。 在 ECCV ，2018。1[35] Veronique Prinet，Dani Lischinski，and Michael Werman.来自图像序列的照明色度。InICCV，2013. 2[36] Konstantinos Rematas ，Tobias Ritschel ， Mario Fritz ，Efstra- tios Gavves，and Tinne Tuytelaars. 深层反射图。在CVPR，2016年。1[37] Christian Riess，Eva Eibenberger，and Elli Angelopoulou.真 实 世 界 混 合 光 源 场 景 的 光 源 颜 色 估 计 。 载 于ICCVW，2011年。2[38] Jianbing Shen，Xiaoshan Yang，Xuelong Li，and YundeJia.使用优化和用户的固有图像分解3791涂鸦IEEE Transactions on Cybernetics，43（2）：425-436，2013. 二六七[39] Shuran Song、Fisher Yu、Andy Zeng、Angel X Chang、Mano-lis Savva和Thomas Funkhouser。语义场景完成从一个单一的深度图像。CVPR，2017年。4[40] KalyanSunkavalli ， FabianoMesiciro ， WojciechMatusik，Todd Zickler，and Hanspeter Pfister.颜色变化揭示了户外场景的什么？CVPR，2008。2[41] Yichuan Tang ， Ruslan Salakhutdinov ， and GeoffreyHinton.深层朗伯网络。arXiv预印本arXiv：1206.6445，2012年。1[42] Qi Zhao，Ping Tan，Qiang Dai，Li Shen，Enhua Wu，and Stephen Lin.具有非局部纹理约束的retinex的封闭解。PAMI，34（7）：1437-1444，2012. 2[43] Tinghui Zhou，Philipp Krahenbuhl，and Alexei A Efros.学习数据驱动的反射率先验，用于固有图像分解。在ICCV，2015年。一、二