基于无监督学习的自然图像内在分解方法研究

1基于无监督学习的单幅图像内刘云飞1于丽2邵迪尤3冯璐1，4，刘1北京航空航天大学计算机工程学院虚拟现实技术与系统国家重点实验室2应用研究中心（ARC），腾讯PCG3阿姆斯特丹大学，阿姆斯特丹，荷兰4鹏程实验室，深圳，中国{吕云飞，陆丰}@www.example.comwww.example.comwww.example.combuaa.edu.cnianyli@tencent.coms.you @uva.nl摘要本征图像分解是计算机视觉中的一项基本它具有挑战性，因为它需要将一个图像分为两个分量。为了解决这个问题，传统的方法引入各种先验来约束解决方案，但性能有限。同时，该问题通常通过监督学习方法来解决，这实际上不是理想的解决方案，因为获得大规模一般自然场景的地面真实反射率和阴影在本文中，我们提出了一种新的无监督的内在图像分解框架，它既不依赖于标记的训练数据，也不依赖于手工制作的先验。相反，它直接从无监督和不相关的数据中学习为了实现这一点，我们探索反射率和阴影，域不变的内容约束和物理约束之间的独立性。在合成图像和真实图像数据集上的大量实验表明，该方法具有一贯的优越性能。1. 介绍自然图像的外观取决于各种因素，如照明，形状和材料。本征图像分解旨在将这样的自然图像分解成照明不变分量和照明变化分量。因此，它可以使各种高级计算机视觉任务受益，例如纹理编辑[3]，面部外观编辑[5]等。在本文中，我们遵循假设理想朗伯曲面的常见实践[8，18，28然后，自然图像I可以被分解为*通讯作者。本研究得到了国家自然科学基金61972012和61732016号基金以及百度学术合作项目的部分资助图1.我们的方法以无监督的方式学习内在图像分解，其中地面真实反射率和着色在训练数据中不可用。我们从自然图像、反射率和阴影的未标记和不相关的集合中学习分布先验。然后，我们进行本征图像分解，通过内容保持图像翻译的独立性约束和物理一致性约束。照明不变性，反射率R（I）;以及照明方差，阴影S（I），即，I=R（I）<$S（I）.（一）当量（1）是不适定的，因为未知数是已知数的两倍因此，传统方法[3，18]探索物理先验作为额外的约束，而最近的研究倾向于使用深度神经网络直接学习这些先验[8，28，33，38]。与高级视觉任务不同，固有图像分解显然是基于物理的，因此设计监督学习方法将严重依赖于高质量的物理现实地面实况。然而，现有的数据集要么是从一小组手动绘制的对象[9]、合成对象或场景[4，6，19]或手动注释[15，31]创建的。这些数据集要么太小，要么远离自然图像，因此限制了监督学习的性能。3248自然图像先验着色先验内容一致性传输自然图像反射率物理一致性约束着色独立约束3249一些半监督和无监督的学习方法最近已经被开发Janner等人[14]提出了自监督的固有图像分解，其依赖于少量标记的训练数据，然后转移到其他未标记的数据。然而，许多其他的监督信息，如形状的对象需要参与。Li等[20]和Maet al. [26]处理未标记的图像序列，其中场景需要固定在序列内，并且只有照明和阴影允许改变。这种设置仍然非常有限。本文主要研究单幅图像的无监督本征图像分解.其核心思想是，自然图像，反射率和阴影都共享相同的内容，这反映了场景中的目标对象的性质。因此，我们考虑从自然图像中估计反射率和阴影，作为转移图像风格，但保留图像内容。基于这样的想法，我们实际上可以使用无监督学习方法来学习自然图像的风格，反射率和阴影，通过为每组收集三个未标记和不相关的样本。然后，我们应用自动编码器和生成对抗网络将自然图像转换与自然的无监督的风格转换方法不同，该方法是从一个域到另一个域的转换，具有明确的物理意义。因此，我们明确采用三个物理约束到我们提出的方法，这是1）物理一致的约束，如方程。（1）自然图像及其分解层共享相同的对象、布局和几何形状的域不变内容约束;（2）反射率是光照不变的而阴影是光照变化的物理独立约束。严格的实验表明，我们的方法可以产生优越的性能对 国 家 的 最 先 进 的 无 监 督 方 法 在 四 个 基 准 ， 即ShapeNet，MPI Sintel基准，MIT固有数据集和IIW。我们的方法也证明了与最先进的完全监督方法[8，33]相当的性能，甚至优于近年来出现的一些方法[28，38]。这项工作的贡献有三个方面：• 据我们所知，我们提出了第一个基于物理的单图像无监督学习的内在图像分解。具体而言，我们采用三个物理约束：物理一致性约束、域不变内容约束和反射-阴影独立性。• 我们提出并实现了一个完全无监督的学习网络结构，用于单图像的内在分解。• 所提出的方法优于现有的非监督方法，并显示出可比的结果，完全监督的方法在不同的内在图像基准。2. 相关作品基于优化的方法。本征图像分解是一个典型的图像层分离问题[16，18，22，23]，已经研究了近五十年。为了处理不适定问题，已经应用了具有优化框架的附加 先 验 例 如 ， Landet al. [16] 提 出 了 一 种 开 创 性 的Retinex算法，该算法假定大的图像梯度对应于反射率的变化，而较小的梯度则与阴影相对应。其次，许多先验的内在图像分解已经探索。受大图像梯度和分段常数性质的启发，将反射率稀疏性[30，32]和低秩反射率[1]作为目标函数中的正则化项。着色也有许多约束，例如梯度域中的分布差异[3，18]。最近，Chenetal. [7]利用近红外图像，提出了近红外前正则化本征图像分解。虽然这些手工制作的先验在小图像集中是合理的，但它们不太可能覆盖复杂场景[15，31]。此外，上述方法假设朗伯材料，因此不能适用于具有一般非朗伯反射率的更复杂的情况[24，25]。监督学习方法。 近年来已经提出了许多基于监督学习的方法[8、19、28、33、36、38]。这些方法试图用不同的网络结构在标记的训练数据上估计反射率和阴影。然而，来自公开数据集的训练数据具有明显的缺点：Sintel [4]，ShapeNet [6]和CGIntrinsics [19]是高度合成的数据集，在它们上训练的网络不能很好地推广到现实世界的场景。麻省理工学院的内在数据集[9]由真实图像组成，但这些图像的数量太有限，因为它只包含20个具有地面真值的对象。因此，如果这些监督方法是在另一个数据集上训练的，它们通常不能在一个数据集上很好地泛化。最近，人类标记的数据集IIW [31]和SAW [15]仅包含稀疏注释。不仅如此，很难大规模地收集这样的注释。半监督和无监督学习方法。涉及其他监督信息，如形状，照明源的对象，Janner等。[14]提出了自我监督的内在图像分解，它依赖于在少数标记的训练数据上，然后转移到其他未标记的数据上。InverseRenderNet [37]使用一系列相关图像作为输入，并将多视图立体作为监督信号添加到固有分解中。利用视频或图像序列，加上物理约束，无固有图像的学习最近已成为一个新兴的研究课题。现有的大多数无人监管的-3250三本征图像分解方法[20，26]主要集中在固定场景和变化光照的图像上训练，然后训练好的模型可以用单输入进行测试然而，用于训练的场景级真实图像在大多数情况下仍然限于各种场景。受此启发，我们提出了一种替代的无监督方法，它图像到图像转换。图像到图像翻译的目的是学习两个图像域的映射。Pix 2 pix [13]采用条件GAN来学习地图-ping，CycleGAN [39]，UNIT [21]应用循环一致性来正则化训练。最近，MUNIT [12]和DRIT [17]假设部分共享的潜在空间作为假设，并进行多模态图像到图像的翻译。然而，在非监督的图像到图像转换和固有图像分解之间仍然存在很大的差距，因为1）图像到图像是完全统计驱动的，而固有图像分解是基于物理的，2）转换的图像可以是各种模态，而输入图像的固有图像是显式的。因此，图像到图像转换方法不直接适用于固有图像分解。3. 无监督单输入本征图像分解3.1. 问题表述和假设单输入本征图像分解。 首先，我们用精确的外延来表述任务。如示于图1和等式（1），单图像本征分解的目标是将自然图像（记为I）分解成两层，光照不变层，即反射率R（I）;和光照变化层，即阴影S（I）。当量（1）具有比“已知”更多的提供足够数量的具有基本事实的数据样本，即，三元组样本{（Ii，R（Ii）GT，S（Ii）GT）}，基于监督学习的方法也已被探索[8，19，28，33]。前几在第二节中，我们讨论了获得地面实况的困难。我们现在专注于无监督学习。无监督本征图像分解。在这一节中，我们定义了无监督单图像内在图像分解（USI3D）问题.假设我们收集未标记和不相关的样本，我们学习每个集合的应用风格我们可以学习一下通过提供一组未标记的反射率图像{R j∈ R}，我们学习反射率的边缘分布p（R j）;通过提供一组未标记的阴影图像，我们学习阴影风格，边缘分布p（S k）：{S k∈ S};我们通过提供一组未标记的自然图像来学习自然图像风格，边缘分布p（I i）：{I i∈ I}。RSCZRZS我图2.域之间的内容保持翻译I是自然意象的范畴。S是阴影域，R是反射域对于我们的无监督学习方法，我们学习了一组编码器，这些编码器将每个域的外观编码到域不变性潜在空间C。我们还学习编码器将外观编码到域相关的先验空间反射率（ZR）和阴影（ZS）。稍后，图像样式可以从编码器（实线箭头）传输到生成器（虚线箭头）。然后，我们的目标是从边缘分布推断Ii的R（Ii），S（Ii）。为了使任务易于处理，我们做了以下三个假设。假设-1。域不变内容。物理上，自然外观，反射率和阴影是给定对象的所有外观。如图所示。2.我们假设这样的对象属性可以是隐编码和共享量域。按照样式转换术语，我们将这种共享属性称为con-tent，记为c∈ C。此外，我们假设内容可以从所有三个域进行编码。假设-2。反射-阴影独立性。在物理上，反射率是对光照和方向的不变性因此，为了分解这两个分量，我们假设它们的条件先验是独立的，可以单独学习如示于图2，我们表示re的潜在先验反射率为zR∈ZR，其可以从反射率域和自然图像域编码。类似地，我们定义了着色的潜在先验，ZS∈ ZS。假设3。潜码编码器是可逆的。这种假设被广泛用于图像到图像的翻译中，[12，17]。详细地说，它假设一幅图像可以被编码成潜码，潜码可以同时被解码成图像。这允许我们在多个域之间传输样式和内容.特别是，这使我们能够将自然图像转换为反射率和阴影。3.2. 执行USI三维网络的具体实现如图所示. 3 .第三章。内容共享架构。 与假设1一样，我们设计了内容共享架构。我们使用en-3251RRJR（Ii）EcREcSS（Ii）SKS中文（简体）中文（简体）GRGSEpCREpSEc我吉吉ZRM模块ZS我我我中文（简体）中文（简体）我Ep我流：编码器解码器丢失中文 （ 简体）M模块图3. 提出了USI3D的体系结构.该方法采用无监督学习的方式对固有图像进行分解，将图像从自然图像域I转换到反射域R和阴影域S。编码器Ec提取输入图像Ii的内容码c，然后c用于分别通过生成器GR和GS 生成分解层R（I i）和S（Ii）。然后，我们提取R（Ii）的内容码cR（Ii），内容码cS（I）的S（Ii），分别使用Ec，Ec，伊、俄、斯最后，我们应用内容一致性损失，编码器Ec、Ec和Ec正常工作。具体来说，我们使用IR S内容一致性L可以约束输入图像Ii及其预测R（Ii）和S（Ii）之间的内容代码。图4.左：自然图像流的自动编码器，L cnt=|CR（Ii）--|1+的|CS（Ii）--|第一条、第二条类似地设计反射流和阴影流。右：发生器的结构。哪里|-是的 |1是L1距离。映射模块（M模块）。根据假设2，反射率和阴影的先前代码是域变量，并且彼此独立。 因为我们需要从I i中推断先验码z R（Ii）和z S（Ii），所以我们设计了映射模块（M模块），如图所示。3.第三章。具体来说，我们首先提取自然图像的先验码z Ii，然后设计一个分解映射f dcp来推断先前码z R （Ii）和z S （Ii）。为了将zR（Ii）约束在反射率先验域ZR 中，我们使用Kllback-Leibler散度（KLD）和其他真实先验以类似的方式实现用于反射和阴影的自动编码器，其中在补充材料中提供细节。我们遵循最近的图像到图像转换方法[12，17]，并使用双向重建约束，这使得在两个方向上都图像→潜码→图像和潜码→图像→潜在代码方向。详细内容：图像重建丢失。给定一个从数据分布中采样的图像，我们可以在重建后重建它zRj 从ZR采样。 ZS（Ii）是生成的，编码和解码。以类似的方式约束KLD损失的定义是LKL=E[logp（z）−logq（z）]，（3）其中先验码z是从M模中提取的，其真实先验码z是从其真实图像中提取的。 以下是Limg=Σx∈{Ii}or{Rj}or{Sk}|1.一、|1. （四）两个优先域ZR和ZS，因此总KLD损失为LKL=E[logp（zR（I））−logq（zR）]+E[logp（zS（I））−先前代码重建丢失。给定分解时从潜在分布中采样的先验代码，我们tijlogq（zSk）]。我应该能够在解码和编码后重建它LEq（6）RLEq（2）等式LEq（7）S等式3252自动编码器。根据假设3，我们实现三个自动编码器。图的左边图4显示了简单的细节分割用于自然图像流的自动编码器的ing. 与Eq不同。（3）、哪一种适合约束两个样本的分布，图像和重建图像的先验编码的约束应该是3253我RSSK KK输入WH 18 w/o标测不含Lcnt不带LphyFinal GT图5.与最先进的WH18 [26]和ShapeNet数据集上的消融研究进行目视比较一模一样。这里我们用L1表示Lpri。E c包括几个跨步卷积层和几个Lpri=|Ep（GI（cIi），zIi））−z我我|1residual blocks [10]对输入进行下采样。所有卷积-在实例层之后是实例规范化[34]。+ |Ep（GR（cR，zR））−zR|1（五）中提供了编码器的详细架构，Rj j j+|Ep（GS（cS，zS））−zS|1 .一、为了使分解的本征图像与目标域中的真实图像不可区分，我们使用GAN将生成图像的分布与目标数据分布进行匹配。对抗性损失的定义如下：补充材料。我们通过多层感知器（MLP）实现分布先验映射函数fdcp 更具体地，fdcp将z Ii作为输入，并且输出zR（Ii）和zS（Ii）的级联。生成器根据图像的内容重建图像特征和分布优先。 如图所示，Ladv=log（1−DR （R（Ii））+logDR（Rj），（6）如图4所示，它通过几个解采样和卷积层来处理内容特征。受最近的不确定因素影响Ladv=log（1−DS（S（I i）+log DS（S k）。（7）总的对抗损失为Ladv= Ladv+ Ladv。使用仿射的图像到图像的翻译作品变换参数的归一化层来表示图像风格[11，12]，因此我们使用图像风格来表示，tR S我们注意到Eq。（1）表示图像i等于其类似R（Ii）和S（Ii）的像素积，因此，物理损失可以用来规范我们的方法。重新发送固有图像分布先验。 为此我们在残差块中的每个卷积层之后装备自适应实例归一化（AdaIN）[11的L phy=|我i−R（Ii）<$S（Ii）|1 .一、（八）AdaIN的参数由MLP根据分布先验动态生成。完全损失。通过使用GAN方案，我们联合训练编码器E、解码器G、映射函数f和鉴别器D，以优化不同损失（1）A =A（m−µ（m））+β，（10）σ（m）届min max（E，G，f，D）=Ladv+λLcnt+λLKL其中m是前一个卷积层的激活，μ和σ是通道平均值和标准差。E、G、fDt1 2（九）γ和β是由MLP生成的参数。3254+λ3Limg+λ4Lpri+λ5Lphy，其中，λ1、λ2、λ3、λ4和λ5是控制不同损失项的重要性的权重4. 实验4.1. 实现细节编码器和发电机。 分布先验编码器Ep由几个步幅卷积层构造以对输入图像进行下采样，然后跟随全局平均池化层和密集层。内容编码器鉴别器。我们使用多尺度鉴别器[35]来引导生成器以不同的方式生成高质量的图像。包括正确的全球结构和现实的细节不同的尺度。我们采用LSGAN [27]作为目标。损失条款的权重 在总目标函数E-q. （9），我们遵循[12]，设λ1，λ2，λ3，λ4为10.0，0.1，分别为10.0和0.1基于Lphy的起始值和收敛性，我们根据经验将λ5设定为5.04.2. 实验装置我们在实验中比较了三种类型的内在分解算法。1)无监督算法3255方法。 Retinex [16]，Barron et al. [2]，LM 14 [18]和L 1平坦化，通过优化解决图像内在分解，无需深度学习。LS 18 [20]，WH18 [26]在图像序列上进行训练，其中每个序列包括固定反射率和可变阴影。2）图像间平移法。 MUNIT [12]是最先进的图像到图像转换方法之一。因为MUNIT的框架只能在两个域，所以我们训练这个方法两次，输入Particire-flectance和输入Particishading，用于生成输入图像的反射率和阴影（ 3）监督方法。我们还提供了最先进的监督方法的结果，如Zhou等人。[38]、MSCR [28]和FY18 [8]作为参考。4.3. 定性和定量结果我们评估建议的USI三维四个公共的内在- sic图像基准，这是常用的图像内在分解。表1. ShapeNet固有数据集的数值比较和消融研究。MSE LMSE方法反射阴影Avg. 总LM14 [18]0.03380.02960.0317 0.06232018财年[8]0.03020.03150.0309 0.0717WH18 [26]0.02840.02620.0273 0.0544我们的w/o映射0.02110.01300.0171 0.0509我们的无Lcnt0.02390.01670.0203 0.0529Ours w/oLphy0.01960.01510.0174 0.0531我们的决赛0.01850.0108 0.01470.0465ShapeNet内部数据集。我们首先对现有的方法进行了比较，然后对该数据集进行了消融研究我们使用8979幅输入图像、8978幅反射率图像和8978幅阴影图像来训练USI3D，每组图像在训练前都经过了洗牌。我们使用其他2245个图像进行评估。我们与一种基于优化的方法LM 14 [18]、一种最先进的监督方法FY 18 [8]和一种最先进的无监督方法WH18 [26]进行比较。我们遵循[8，28]中的设置，并采用均方误差（MSE），局部MSE（LMSE）[28]。数值结果见表4.3。视觉结果示于图1中。五、我们采用三个消融研究来评估USI3D。1）映射fdcp的有效性。fDCP旨在绘制将输入图像的先验编码分为反射率先验编码和阴影先验编码。在这个消融研究中，我们将其移除，并用随机向量替换分解的先验码2）损失项Lcnt的有效性。Lcnt的目标是-应变预测的反射率和阴影与输入共享相同的内容代码。在本消融研究中，我们将此损失项的权重设置为0。3)损失的有效性- m物理。Lphy用于实施预测的反射率、阴影和输入具有如E.Q.（一）.在本消融研究中，我们将此损失项的权重设置如图5，第三列显示，没有映射，反射率和阴影在某些地区，第四列显示，如果没有Lcnt，一些细节在阴影中丢失。第五列显示没有Lphy，虽然阴影看起来很好，但有些区域不正确。为了进一步探索不同的训练数据量如何影响我们的方法的最终性能，我们减少了训练集中的反射率和阴影的体积，并在相同的条件下训练我们的算法。结果如图所示。六、如图6.我们的方法仍然可以通过使用少至20%的训练样本优于现有的方法。MPI-Sintel基准。MPI-Sintel基准[4]是一个合成数据集，其中包括来自18个场景的890张图像，每个场景50帧（除了包含40张图像的一张我们遵循FY18[8]并进行数据论证，之后生成了8900块图像。然后，我们采用双重交叉验证获得所有890个测试结果-S.在训练集中，我们随机选择一半的输入图像作为输入样本，反射率和阴影与剩余的文件名分别作为我们的反射率样本和阴影样本。如表2所示，我们采用MSE、LMSE和离散性结构相似性指数测度（DSSIM）作为评价指标。我们在许多评价矩阵如LMSE和DSSIM中显示了非监督方法中最好的性能 在定性比较中，我们在图中显示了一个定性结果。7.第一次会议。所提出的USI3D可以产生比非超方法LS 18更正确的反射率和阴影[20]。此外，我们的结果仍然比监督方法MSCR [28]具有竞争力，因为MSCR的结果具有许多模糊区域。监督方法FY18 [8]显示了最好的视觉结果，因为它们是在许多其他数据集上训练的，并且涉及其他指导，如边界，域过滤器等。MIT固有数据集。为了测试真实图像的性能，我们使用MIT内在数据集中的220张图像[32]，如[28]所示。该数据仅包含20个不同的对象，每个对象有11个图像。为了与以前的方法进行比较，我们通过[8]中的分割使用10个对象来微调我们的模型，并使用剩余的对象来评估结果。如表4.3所示，我们的方法在无监督方法中获得了最佳性能，并在有监督方法中提供了可比较的结果。我们在图中显示了两个视觉比较样本。8.与联合国相比，3256图6.当使用较少的训练样本时，我们的无监督方法在ShapeNet上的性能表2. MPI Sintel数据集上的数值比较。辅助核算表示MSCR [28]和FY18 [8]是完全监督的方法，它们是用地面真实数据训练的，因此它们的结果只能作为参考。MSE LMSE DSSIM方法反射率阴影平均值反射阴影平均值 反射阴影平均值沪公网安备31010502000114号2018财年[8] 0.0069 0.0059 0.0064 0.0044 0.0042 0.0043 0.1194 0.0822 0.1008沪ICP备16006666号-1沪公网安备31010502000114号Barron等人[2] 0.0420 0.0436 0.0428 0.0298 0.0264 0.0281 0.2100 0.2060 0.2080电话：+86-021 - 8888888传真：+86-021 - 88888888MUNIT[12]0.02910.0232 0.02620.02070.0182 0.01950.20730.1893 0.1983我们的0.01590.0148 0.0154 0.0087 0.0081 2017年12月31日零点一六三五表3. MIT内部数据集的数值比较。文中还提供了监督方法的结果以供参考。MSE LMSE方法反射率阴影平均值总Zhou等[38] 0.0252 0.0229 0.0240 0.0319Shi等人[33] 0.0216 0.0135 0.0175 0.0271MSCR [28] 0.0124 0.0165 0.02392018财年[8]0.01340.0089 0.0111 0.0203[18] 0.0286 0.0227 0.0255 0.0366沪ICP备16016666号-1 0.0197 0.0379MUNIT [12] 0.0197 0.0170 0.0184 0.0302我们的0.0157 0.0135 0.0146 0.0231输入MSCRFY18LM14 MC18 我们的GT图8. MIT内在图像基准测试的视觉结果。第2 - 3列是监督方法输入反照率阴影图10.来自混合数据集的样本。输入图像从IIW中收集，而反射率和阴影从CGIntrinsic数据集收集。监督的方法，我们表现出最好的视觉性能，无论是在反射率和阴影。IIW基准。Intrinsic Images in the Wild（IIW）基准测试[31]包含5，230张主要是室内场景的真实图像，以及总共872，161个关于在整个图像中稀疏选择的点对之间的相对反射率的人类我们以与[8，19]相同的方式将IIW的输入图像分为训练集（4184）和测试集。由于IIW数据集不包含反射和阴影图像，因此我们采用来自渲染数据集CGIntrinsics的未成对反射和阴影[19]。为了进行公平的训练，我们选择按图像ID排序的前4000个连续反射率，辅助核算（参考）不好辅助核算（参不好32572RRRRBandge_2帧_47输入MSCRFY18LS18我们的GT图7. MPI Sintel基准测试的可视化结果。与最先进的无监督方法LS 18相比[20]。提供监督方法MSCR [28]和FY18 [8]供参考。输入FY18（R）FY18（S）LS18（R）LS18（S）MUNIT（R）MUNIT（S）Ours（R）Ours（S）图9.IIW测试集的定性比较FY18 [8]是监督方法。[12][13][14][15][16][17][18][19]4000张阴影图像用于训练。训练集的样本如图所示。10个。位置i处的像素。反射权重v i，j=exp（−1（fi−fj）T<$−1（fi−fj）），以及特征向量fi定义为[pi，xi，r1，r2]，其中pi和xi是空间表4.使用i i1 2对IIW基准数据集进行数值比较加权人类不一致率（WHDR）[29]。越低越好。方法WHDR%（平均值）基线（恒定反射率）36. 54基线（const shading）51.37Narihira等人[29] 18.10Zhou等[38] 15.70[19]第十九话2018财年[8]14.45Retinex（彩色）[9] 26.89Retinex（灰色）[9] 26.84WH18 [26] 28.04[12]第12话L1压扁[3] 20.94Bell等[31] 20.64LS18 [20] 20.30我们的18.69对于域调整，我们遵循CGIntrinsics和应用反射平滑L平滑项以鼓励反射预测为分段常数。位置和图像强度，并且ri和ri是色度的前两个元素是一个协方差矩阵，定义两个特征向量之间的距离在这个实验中，我们将这个损失项的权重设为1.0我们使用相同的测试分裂与比较的方法。由于没有像素方面的基础事实，我们使用在数据集中引入的加权人类不一致率（WHDR）[31]。数值结果列于表4.3，数值越低越好.定性结果如图所示9 .第九条。我们提出的方法产生更好的结果比现有的方法。5. 结论本文提出了一种无监督的单幅图像本征分解（USI3D）方法.我们介绍了关于不同图像域分布的三个假设，即，域不变内容、反射-阴影独立性和潜在代码编码器是可逆的。我们基于这些假设实现了我们的管道S.在四个本征图像基准上的实验结果表明，我们的方法优于现有的最先进的无监督方法，甚至是一些最先进的超级，ΣNL平滑=Σvi，j|logxi -logxj|第一章，（十一）固定方法i=1j∈N（i）辅助核算（参考）不好3258其中N（i）表示的8-连通邻域3259引用[1] 布索·阿德里安，帕里斯·西尔·瓦因，杜兰德·弗雷多。使用r-辅助的内部映像。TOG，2009年。2[2] Jonathan T Barron和Jitendra Malik。形状、照明和着色的反射率。TPAMI，2015。六、七[3] 赛毕、韩晓光、益州余。一种用于边缘保持平滑和场景级本征分解的l1图像变换。TOG，2015。一、二、八[4] Daniel J Butler 、 Jonas Wulff 、 Garrett B Stanley 和Michael J Black。一个用于光流评估的自然开源电影。ECCV，2012年。一、二、六[5] Chong Cao ， Feng Lu ， Chen Li ， Stephen Lin ， andXukun Shen.通过双向可调卸妆网络卸妆。IEEE TMM，2019年。1[6] AngelXChang ， ThomasFunkhouser ， LeonidasGuibas，Pat Hanrahan，Qixing Huang，Zimo Li，SilvioSavarese ， Manolis Savva ， Shuran Song 和 Hao Su 。Shapenet：一个信息丰富的3D模型存储库。在arXiv预印本arX- iv：1512.03012，2015中。一、二[7] Ziang Cheng，Yinqiang Zheng，Shaodi You，and ImariSato.具有近红外先验的非局部本征分解。在ICCV，2019年10月。2[8] Qingnan Fan ， Jiaolong Yang ， Gang Hua ， BaoquanChen，and David Wipf.重新审视深层内在图像分解。在CVPR，2018年。一二三六七八[9] Roger Grosse，Micah K Johnson，Edward H Adelson，and William T Freeman.固有图像算法的地面实况数据集和基线见ICCV，2011年。一、二、七、八[10] Kaiming He，Xiangyu Zhang，Shaoying Ren，and JianSun.用于图像识别的深度残差学习。在CVPR，2016年。5[11] Xun Huang和Serge Belongie。实时任意样式传输，具有自适应实例规范化。InICCV，2017. 5[12] 黄勋，刘明宇，Serge Belongie，Kautz Jan.多模态无监督图像到图像翻译。在ECCV，2018。三四五六七八[13] Phillip Isola，Jun-Yan Zhu，Tinghui Zhou，and Alexei AE-fros. 使用条件对抗网络的图像到图像翻译在CVPR，2017年。3[14] Michael Janner，Jiajun Wu，Tejas Kulkarni，D.，IlkerY-ildirim，和Joshua Tenenbaum，B.自我监督的内在图像分解。在NIPS，2017年。2[15] Balazs Kovacs，Sean Bell，Noah Snavely和Kavita Bala。野外阴影注释。在CVPR，2017年。一、二[16] Edwin H Land和John J McCann。亮度和视网膜理论。乔萨，2008年。二、六[17] 李欣英、曾鸿宇、黄嘉斌、杨铭轩。通过解缠表示实现不同的图像到图像的在ECCV，2018。 三、四[18] Yu Li和Michael S.布朗使用相对平滑度的单个图像层分离。CVPR，2014。一、二、六、七[19] 李正奇和诺亚·斯内弗利。Cgintrinsics：通过基于物理的渲染实现更好的固有图像分解。在ECCV，2018。一、二、三、七、八[20] 李正奇和诺亚·斯内弗利。从观察世界中学习内在的意象解构.在CVPR，2018年。二三六七八[21] Ming-Yu Liu，Thomas Breuel，and Jan Kautz.无监督图像到图像翻译网络。在NIPS，2017年。3[22] 刘云飞，李宇，尤少迪，卢锋语义引导的单图像反射消除。在arXiv预印本arX- iv：1907.11912，2019。2[23] 刘云飞和冯璐。在潜在空间中分离：无监督单图像层分离。在AAAI，2020年。2[24] 冯璐，陈小舞，佐藤伊万里，佐藤洋一Symps：用于形状和光源估计的Brdf对称性引导的光度立体IEEE T-PAMI，2017年。2[25] Feng Lu ， Yasuyuki Matsushita ， Imari Sato ， TakahiroOkabe，and Yoichi Sato.从强度剖面到曲面法线：未知光源和各向同性反射的光度立体。IEEE T-PAMI，2015年。2[26] Wei-Chiu Ma ， Hang Chu ， Bolei Zhou ， RaquelUrtasun，and Antonio Torralba.没有单个本征图像的单个图像本征分解。在ECCV，2018。二、三、五、六、七、八[27] 毛旭东，李庆，谢浩然，Raymond Y.K. Lau ，ZhenWang，and Stephen Paul Smolley.最小二乘生成对抗网络。InICCV，Oct 2017. 5[28] Takuya Narihira，Michael Maire，and Stella X Yu.直接内部函数：用卷积回归学习隐式阴影分解。在ICCV，2015年。一二三六七八[29] Takuya Narihira，Michael Maire，and Stella X Yu.从人类对相对反射率的判断中学习亮度。CVPR，2015。8[30] Carsten Rother，Martin Kiefel，Lumin Zhang，BernhardSc ho？l k opf，andPeterVGehle r. 在反射率上具有全局稀疏性先验的本征图像NIPS，2011年。2[31] 贝尔·肖恩，巴拉·卡维塔，还有斯内弗利·诺亚.在野外的内在图像。InSIGGRAPH，2014. 一、二、七、八[32] 李申和杨卓豪。使用反射率的局部和全局稀疏表示的内在图像分解。CVPR，2011。二、六[33] 简诗，岳东，苏浩，斯特拉X宇。在shapenet类别中学习在CVPR，2017年。一、二、三、七[34] 德米特里·乌里扬诺夫，安德烈·维达尔迪，维克多·伦皮茨基。 实例归一化：快速造型缺少的成分。在arXiv预印本arXiv：1607.08022，2016。5[35] Ting-Chun Wang，Ming-Yu Liu，Jun-Yan Zhu，AndrewTao，Jan Kautz，and Bryan Catanzaro.基于条件gans的高分辨率图像在CVPR，2018年。5[36] 王仲济、冯璐。基于鉴别特征编码的单幅图像内分解。在ICCVW，2019。2[37] Ye Yu和William AP Smith。Inverserendernet：学习单幅图像逆绘制。在CVPR，2019年。2[38] Tinghui Zhou，Philipp Krahenbuhl和Alexei A.埃夫罗斯学习 数据 驱动 的反 射率 先验的 内在 图像 分解 。在ICCV，2015年。一二六七八3260[39] Jun-Yan Zhu ， Taesung Park ， Phillip Isola ， Alexei AEfros.使用循环一致对抗网络的不成对图像到图像翻译。InICCV，2017. 3