非成对数据中的阴影消除方法：自动生成阴影掩模的Mask-ShadowGAN框架

2472Mask-ShadowGAN：学习从不成对的数据中移除阴影Hu Xiaowei1，Yitong Jiang2，Chi-Wing Fu1，2，Zhang，and Pheng-Ann Heng1，2，Zhang1香港中文大学计算机科学与工程系2中国科学院深圳先进技术研究院广东省计算机视觉与虚拟现实技术重点实验室摘要本文提出了一种利用非成对数据进行阴影消除的新方法，使我们能够避免繁琐的注释，并获得更多样化的训练样本。然而，直接采用对抗学习和循环一致性约束不足以学习阴影和无阴影域之间的潜在关系，因为阴影和无阴影图像之间的映射为了解决这个问题，我们制定了Mask-ShadowGAN，这是一个新的深度框架，可以自动学习从输入阴影图像中生成阴影掩模，然后通过重新制定的循环一致性约束来引导阴影生成。特别地，该框架同时学习产生阴影掩模并学习去除阴影，以最大化整体性能。此外，我们预处理了一个用于阴影去除的未配对数据集，并在各种实验中证明了Mask-ShadowGAN的有效性，即使它是在未配对数据上训练的。1. 介绍消除阴影是一项非常具有挑战性的任务。我们必须消除阴影，同时，恢复阴影背后的背景.特别地，阴影在各种各样的背景上具有各种各样的形状。最近，基于学习的方法[10，11，18，32]，特别是使用深度学习的方法[13，27，35]，由于其显著的性能，已成为阴影去除的事实标准。这些方法通常以监督的方式在阴影和无阴影图像对上训练，其中通过拍摄具有阴影的照片并且然后通过移除相关联的对象来拍摄没有阴影的场景的另一照片来准备配对数据这种准备训练数据的方法有几个限制。首先，准备训练数据，因为对于每个场景，我们需要手动固定相机共同通讯作者不匹配不匹配(a) 循环一致性约束匹配匹配(b) 掩码引导的循环一致性约束图1：直接使用（a）周期一致性约束是不够的;生成器GS不能为不同的输入产生不同的阴影图像输出。（b）掩模- ShadowGAN从输入中学习阴影掩模，以引导Gs生成更好地匹配输入的阴影图像。然后添加移除对象以获得一对阴影和无阴影图像。此外，该方法限制了可以准备数据的场景的种类，因为很难捕获由诸如树木和建筑物之类的大型物体投射的阴影的无阴影图像。最后，训练对可能具有不一致的颜色和亮度，或者相机视图中的偏移，因为相机曝光和姿势以及环境照明在我们拍摄有阴影和没有阴影的照片对时可能会有所不同。为了解决这些问题，我们提出了一种新的方法来学习从不成对的训练数据中去除阴影。我们的关键思想是学习阴影域Ds（一组有阴影的真实图像）和无阴影域Df（一组真实无阴影图像）之间的潜在关系，其中我们没有任何显式的关联，在Ds和Df中的单个图像之间。在这里，我们想要训练一个网络Gf，它将阴影图像作为输入，并通过对抗学习产生一个与Df2473ing [9，15]。这种映射是高度欠约束的，因此网络在训练过程中很容易崩溃[43]。因此，我们训练另一个网络Gs来学习逆映射，即，Gs，将无阴影图像转换为类似Ds中的阴影图像，并施加以下内容循环一致性约束[43]对图像Is∈ Ds和If∈ Df，即， Gs（G f（Is））应当与输入阴影图像Is相同，并且G f（G s（I f））应当与输入无阴影图像I f相同。从根本上讲，深度神经网络会为相同的输入生成唯一的输出。话虽如此，对于相同的无阴影图像，Gs总是生成具有相同阴影形状的相同阴影图像。然而，这显然不足以产生阴影，因为对于相同的背景，我们可能有不同的阴影。图1（a）示出了进一步的说明：从具有相同背景的不同阴影图像开始，虽然Gf产生相同的无阴影图像，但Gs将无法生成与对应的原始输入匹配的不同输出。因此，循环一致性约束不能成立，我们不能训练Gf和Gs来学习去除和生成阴影。为了解决这个问题，我们制定了一个掩码引导的生成对抗网络，即Mask-ShadowGAN，它在训练过程中从输入的阴影图像中学习生成阴影掩码，并使用掩码来引导Gs生成阴影。因此，给定一个无阴影的图像，我们可以通过使用不同的阴影掩模来生成不同的阴影此外，从输入阴影图像，我们可以产生无阴影图像，并在图像上生成合适的阴影，以产生与相应输入匹配的输出;参见图1（b）。因此，我们可以采用循环一致性约束来训练Gf和Gs。据我们所知，这是第一个数据驱动的方法，它用未配对的数据训练网络，用于阴影去除。特别地，我们设计了Mask- ShadowGAN来学习从未配对的数据中去除阴影，从而发挥了使用更多阴影和无阴影图像进行网络学习的优势。此外，我们准备了第一个未配对的阴影和阴影的图像数据集与不同的场景。最后，我们进行了各种实验来评估Mask-ShadowGAN，并证明了它的有效性，即使它是在未配对的数据上训练的。结果表明，我们的方法在现有的基准测试中产生了与现有作品相当的性能，并且在没有配对的地面真实图像的情况下，对于更一般的阴影图像，我们的方法的性能优于其他方法。源代码和数据集可在https://xw-hu.github.io/上公开获得。2. 相关工作2.1. 阴影去除早期的方法通过将图像建模为阴影层和无阴影层的组合来去除阴影[2，4，5，6，7，23，24，40]，或通过从非阴影转移颜色到阴影区域[28，37，38，39]。由于底层阴影模型在物理上不正确，它们通常无法处理复杂真实场景中的阴影[18]。后来，探索了学习方法，使用强度[8，10，11]，颜色[11，32]，纹理[11，32]和梯度[10]等特征来查找和重新移动阴影。然而，这些手工制作的特征缺乏理解阴影的高级语义。后来，Khan等人[17，18]采用卷积神经网络（CNN）来检测阴影，然后使用贝叶斯模型来去除阴影。近年来，阴影去除主要依赖于端到端训练的CNN，以从成对的阴影和无阴影图像中学习映射Qu等人[27]开发了三个子网络来从多个视图中提取特征，并将这些子网络嵌入到一个框架中以消除阴影。Wang等人[35]使用条件生成对抗网络（CGAN）来检测阴影，并使用另一个CGAN来消除阴影。Hu等人[13，14]探索了方向感知空间上下文以检测和移除阴影。然而，这些方法都是在成对图像上训练的，这会产生一些限制，如引言中所讨论的。类似地，最近的阴影检测方法[33，21，44，42]也使用配对数据训练了他们的深度神经网络。与以前的作品不同，我们提出了一个基于对抗学习的新框架来学习移除来自未配对训练数据的阴影。2.2. 无监督学习无监督学习近年来受到了广泛的关注。这些方法大致可分为三种途径。第一种方法通过生成图像来学习特征表示，其中早期的方法，例如自动编码器[12]和去噪自动编码器[34]，通过以低误差重建输入图像来在潜在空间中对输入图像进行编码。最近的一些作品通过对抗性学习将合成图像转换为第二种方法是自监督学习，它通过自由获得的标签设计辅助训练目标来学习不变特征，例如，Doersch等人[3]预测图像块的位置进行特征学习; Pathak等人[26]从视频中分割的运动对象学习特征表示;和Wang et al. [36]从图像之间的传递关系中学习视觉表征。最后一种方法与我们的工作更相关。它以未配对数据的形式学习域之间的底层映射。 [43 ]第43章和其他人一样，els [19，41]使用两个生成对抗网络[9]来制定循环一致性约束，并学习映射以在域之间转换图像。虽然它们可以学习任意的一对一映射，但经过训练的网络只能为相同的输入产生单一的输出2474SF影子循环一致性损失输入���ሚ���引导���ሚ���输入阴影身份损失引导���ሚ������ሚ���无阴影对抗性损失无阴影圈一致性损失输入引导���ሚ������ሚ���无阴影身份损失���ሚ���阴影对抗性损失输入数据���ሚ���(a) 从阴影图像学习（b）从无阴影图像学习图2：我们的Mask-ShadowGAN的示意图，它有两个部分：（a）一个从真实阴影图像学习，以及（b）另一个从真实无阴影图像学习。每个部分包括三个损失：循环一致性损失（黄色）、身份损失（绿色）和对抗性损失（蓝色）。此外，Gf和Gs表示生成器，其产生无阴影图像和阴影图像，而Df和Ds是鉴别器，其确定所生成的图像是否真正的无阴影或阴影的图像。 Is和If是真实的阴影和无阴影图像;Is和Ifi表示生成的阴影图像，而If和Ifi表示生成的无阴影图像;Mn、Ml和Mr是阴影掩码。把图像。为了扩展循环一致性以处理多对多映射，Almahairiet al.[1] Leeet al. [22]探索了使用潜在变量来产生不同的输出。相比之下，阴影和无阴影图像之间的关系可以通过它们的差异显式地建模。因此，在这项工作中，我们设计了一个框架来学习产生阴影掩模，用于指导阴影生成，并学习使用阴影区域中的阴影和无阴影图像之间的差异来建模阴影和无阴影图像之间的3. 方法图2概述了我们的Mask-ShadowGAN框架的整体网络架构，它有两个部分：一个是从真实阴影图像中学习（第3.1节），另一个是从真实无阴影图像中学习（第3.2节）。3.1. 从阴影图像中学习从一个真实的阴影图像I s出发，我们首先使用生成器网络G f将其转换为一个无阴影图像If。然后，我们使用一个adversarial的adversarial来区分。确认是否是真正的无阴影图像：其中，E表示误差;pdata表示数据分布;并且Ifpdata（If）和Ispdata（Is）指示分别从数据分布中选择If在无阴影数据集和阴影数据集上对p数据进行处理。然而，如果我们单独使用对抗损失来优化生成器，则生成的图像上可能存在一些伪影[15]，这也可能成功地欺骗识别器[43]。因此，我们采用另一个生成器Gs来将生成的无阴影图像变换回其原始阴影图像，并鼓励它们的内容相同。如前面介绍的，我们可以通过在不同图像位置添加不同形状的阴影区域来从一个无阴影图像产生多个阴影图像。为了保持生成的阴影图像与原始阴影图像之间的一致性，我们使用阴影掩模Ml作为指导来指示阴影的恢复。gions，并将阴影掩模Ml与生成的无阴影图像I_f连接起来作为生成器Gs的输入，生成器Gs生成阴影图像I_f：其中阴影掩模Ml是阴影掩模Ml与阴影掩模Ml之间的差。If =Gf （Is），Df（If）=实数或fa k e？（一）真实阴影图像Is和生成的无阴影图像我...阴影掩码是一个二进制映射，其中零表示在这里，我们优化以下目标函数，同时针对生成器和它的函数：标记非阴影区域，标记表示阴影区域;详见第3.4节。然后，我们制定了以下阴影周期一致性损失，以鼓励重新-一GAN （Gf，Df）=EIfp数据 （If）[log（Df（If））]（二）构造的图像I被构造为类似于原始输入真实图像。+EIspdata（Is）[log（1−Df（Gf（Is））]，阴影图像Is，并优化L2475FFSSSGANGAN周期Gs和Gf通过循环一致性约束：所生成的阴影图像I_s，s.t.，If=Gf（Is），并使用无阴影周期一致性损失来优化净一周期 （Gf，Gs）=EIsp数据 （一）[||Gs（Gf（Is），Ml）−Is||1]中。（四）作品：通过平均L1损失||. ||1tocalculatethedifferenceon each pixel,generator G swill learn to produce a shadowb周期（Gs，Gf）=EIfp数据 （一f）[||Gf（Gs（If，Mr））−If||1]中。（九）图像以及捕获阴影图像和阴影掩模之间的关系，即，零表示非最后，我们采用生成器Gf，通过将真实的无阴影图像If作为阴影区域，而1表示阴影区域。再次参见图2（a），我们进一步使用掩码M输入，s.t.，Ii=Gf（If），然后使用无阴影n其中所有零值和真实阴影图像Is作为Gs的输入，并且生成不包含身份丢失迫使输入和输出内容图像是一样的：新增阴影：b标识（Gf）=EIfp数据 （一f）[||Gf（If）−If||1]中。 （十）Ii=Gs（Is，Mn）.（五）然后，我们利用阴影身份损失[30]来正则化输出以接近输入阴影图像：通过使用身份损失作为约束，生成器Gf将学习在不改变非阴影区域上的颜色的情况下移除阴影。3.3.损失函数一个身份（Gs）=EIsp数据 （一）[||Gs（Is，Mn）−Is||1]中。（六）总之，我们的面具的最终损失函数因此，我们可以鼓励在M n的指导下，在生成的图像Ii中的输入阴影图像上不添加阴影，并且我们还可以保留输入和输出图像之间的颜色组成[43]。ShadowGAN是框架的两个部分中的对抗损失、循环一致性损失和身份损失的加权和：Lfinal（Gs，Gf，Ds，Df）（11）3.2. 从无阴影图像中学习=ω1（La（Gf，Df）+Lb（Gs，Ds））图2（b）显示了如何从无阴影图像中学习阴影去除的框架。给出一个真实的一个周期+ω（La（Gf，Gs）+Lb（G）+Lb（Gs，Gf））（G））。无阴影图像If，我们使用生成器GS来产生3个身份恒等函数图像的阴影部分被用来欺骗鉴别器，或Ds，并且使得难以区分它是否是真实的阴影图像。如前所述，对于生成器Gs，我们需要阴影掩模作为输入来指示阴影区域。在这里，我们可以使用掩码Mr以任何形式的阴影为指导，并产生所生成的阴影图像I_s：I_s=G_s（I_f，M_r），D_s（I_s）=实数或fak_e？（七）为了使生成的阴影区域看起来更真实，我们随机选择一个从真实阴影图像中学习的阴影掩模;详见第3.4节。通过杠杆老化不同的阴影掩模作为指导，我们产生多个阴影图像与不同形式的阴影。因此，将创建大量的阴影图像，从而增加深度模型的泛化能力。最后，我们使用对抗性损失来优化生成器Gs和BHDs：LLLL+ω2（L2476我们遵循[43]并根据经验将ω1、ω2和ω3分别设为1、10和5最后，我们以极大极小的方式优化整个arg min maxL final（G s，G f，D s，D f）.（十二）Gs，GfDs，Df3.4. 蒙版生成如前所述，我们设计了一个阴影掩模来指示如何在无阴影图像上生成阴影。我们通过计算不同的阴影掩模M来获得阴影掩模M在真实阴影图像Is和所生成的无阴影图像Isf之间进行二值化，然后对结果进行二值化M=B（If−Is，t），（13）其中B指示二值化操作，当像素的值大于阈值t时，该二值化操作将像素设置为1，否则设置为0。 我们通过Otsu算法[ 25 ]获得阈值tbGAN （Gs，Ds）=EIsp数据 （Is）[log（Ds（Is））]（八）阈值来分离阴影和非阴影区域，+EIf数据 （If）[log（1 − D s（G s（If，M r））].最小化类内方差。因为我们从一个真实的阴影中得到一个阴影掩模为了利用循环一致性约束，我们采用生成器Gf来从生成器Gf生成无阴影图像Iff。图像，我们采用了一个列表来保存多个阴影掩模在一个数据集的阴影图像产生。期间L2477在训练过程中，阴影掩模的质量随着所生成的无阴影图像I_f的质量而增加。因此，我们通过推送新生成的阴影遮罩来更新阴影遮罩列表。删除掩码（高质量）和删除最近最少添加的掩码（低质量）。这个过程是通过Queue数据集结构实现的，它遵循“先进先出”的规则此外，我们根据经验将列表的长度设置为真实阴影数据集中图像编号的四分之一。当访问阴影掩模时，我们将图2（a）中的Ml设置为从其输入阴影图像新生成的掩模，并从列表中随机选择一个掩模作为图2（b）中的Mr3.5. 网络架构和培训策略网络架构。我们采用Johnson等人设计的网络架构。[16]作为我们的生成器网络，它包括三个卷积运算，然后是九个残差块，具有步幅2卷积和用于特征图上采样的两个去卷积。 在这个网络中，实例归一化[31]在每个卷积和反卷积操作之后使用。生成器G f采用通道数为3的阴影图像作为输入，而生成器G s采用无阴影图像和阴影掩模的级联作为输入，总共有4个通道。 Gf和Gs都产生具有三个通道的残余图像，其与输入图像相加作为最终的无阴影或阴影图像。对于BIDD f和D s，我们使用PatchGAN [15]来区分图像补丁是真实的还是虚假的。培训战略。我们通过随机噪声初始化所有发生器和鉴别器中的参数，随机噪声遵循标准偏差设置为0的零均值高斯分布。02.此外，使用Adam [20]优化了具有第一和第二动量的网络值设置为0。5和0。999，分别。我们根据经验将前100个epoch的基本学习率设置为2×10−4，在接下来的100个 epoch中以线性衰减率逐渐将其降低到零，然后停止学习。最后，我们在PyTorch上构建了我们的模型，小批量大小为1，和随机裁剪的图像用于数据论证。4. 未配对阴影消除数据集-USR现有的阴影去除数据集[27，35]是成对的。通常情况下，我们必须固定相机，拍摄一张有阴影的照片由于环境光和相机曝光的变化，训练对可能具有不一致的颜色和亮度;参见图3中的示例。此外，配对数据仅适用于有限的场景，从而影响训练模型的通用性和实用性。我们准备了一个名为USR的未配对阴影去除数据集，其中包含2，445张阴影图像和1，770张无阴影图像阴影无阴影无阴影图像直方图图3：来自[35]的典型成对阴影和无阴影图像;注意直方图中强度分布显示的颜色不一致性。图像.该数据集包含各种各样的场景，其阴影由各种物体投射，例如，树木、建筑物、交通标志、人、雨伞、栏杆等。非常重要的是，现有的数据集通常只覆盖数百个不同的场景（即使有数千个图像样本），而我们的数据集覆盖了一千多个不同的场景。此外，我们将数据集中的阴影图像随机分为1，956张用于训练的图像和489张用于测试的图像，并使用所有1，770张无阴影图像进行训练（因为它们不用于阴影去除测试）。5. 实验结果5.1. 数据集和评估指标数据集。除了USR数据集之外，我们还采用了两个最近的阴影去除数据集（SRD [27]和ISTD [35]），其中包含成对的阴影/无阴影图像，并用于训练现有的阴影去除方法。评估指标。 我们遵循最近的作品[13，27， 通过计算LAB颜色空间中的地面实况和预测的无阴影图像之间的均方根误差（RMSE）一般来说，小的RMSE表示更好的性能。5.2. 使用USR进行首先，我们将Mask-ShadowGAN与USR数据集上最先进的阴影去除方法进行比较。这里的目的是表明，通过利用未配对的数据，我们能够训练一个网络来学习为更广泛的场景去除USR训练套件。首先，我们在USR训练集上训练我们的模型，并将其应用于在USR测试集上生成无阴影图像。此外，我们应用了几种最先进的方法来消除USR测试集上的阴影：DSC [13]，Gong等人。[8]和Guoetal. [11 ]第10段。对于DSC，我们采用了其公共实现，并在SRD 和ISTD数据集上对其网络进行了培训：“DSC-S”和“DSC-2478输入Mask-ShadowGAN DSC-I [13，35] DSC-S [13，27] Gong等人。[8] Guoet al. [第十一届]图4：比较USR数据集上各种方法产生的阴影去除结果表1：USR测试集的用户研究结果。参与者对阴影消除结果给出的平均评分（从1（差）到10（好））方法评级（平均标准差）Mask-ShadowGAN6.30±2。97DSC-I [13，35]4.第一章78 ±2。92DSC-S [13，27]4.第一章60 ±2。66Gong等人 [八]《中国日报》二、82 ±1。76Guo等人 [第十一届]二、31 ±1。90I”表示在SRD数据集和 ISTD数据集。由于DSC需要成对的阴影和无阴影图像，因此我们无法在未配对的USR数据集上重新训练它。对于其他方法，Gonget al.和Guo等人，我们下载并利用他们的公共代码和推荐的参数来产生无阴影的图像结果。请注意，ST- CGAN[35]和DeshadowNet [27]的代码不是公开可用的，我们无法在USR测试数据上对其进行评估。由于未配对的USR数据集没有地面实况，我们进行了用户研究，以评估阴影去除结果。首先，我们使用Mask- ShadowGAN生成无阴影图像，以及使用DSC-I，DSC-S，Gong等人，和Guo等人，在USR测试集上（仅阴影图像）。在这里，我们招募了10名参与者：6名女性和4名男性，年龄23 - 30岁，平均26岁。1.一、对于每个参与者，我们随机选择150个无阴影图像结果（每种方法30个），以随机顺序向参与者呈现结果，并要求参与者以1（差）至10（好）的量表对结果进行因此，我们获得了每种方法300个评级（10名参与者×30张表2：用户研究：参与者评分从1（差）到10（好）。在USR测试集上测试不同的训练模型。训练的模型训练集评级（平均标准差）我们的-IISTD4.07±2。93DSC-IISTD二、38 ±2。12Ours-SSRD3.38±2。42DSC-SSRD二、93 ±2。39表 1 示 出 了 结 果 。 与 其 他 方 法 相 比 ， Mask-ShadowGAN获得了最高的评级，显示出其在更多样化的场景中消除阴影的有效性，即使它只是在未配对的数据上训练。此外，我们通过在Mask-ShadowGAN和其他方法之间进行t检验来对评级进行统计分析。所有t检验结果表明，我们的结果具有统计学意义（p<0.05）。001）比其他人，证明参与者更喜欢我们的结果比其他方法产生的结果图4显示了视觉比较，其中Mask-ShadowGAN可以更有效地去除阴影并恢复背景，而其他人可能会模糊图像或无法去除部分阴影。非常重要的是，我们的方法只在未配对的数据上训练。SRD ISTD训练集。此外，我们分别在SRD（“Ours-S”）和ISTD（“Ours-I”）的训练集然后，我们将这些模型以及DSC-S和DSC-I应用于USR测试集，进行了另一项用户研究，其中有四名女性和六名男性（年龄在22至30岁之间），并以随机顺序向每位参与者显示了150个随机选择的无阴影图像结果（每个训练模型30表2 示 出 了 结 果 。 我 们 的 方 法 仍 然 优 于 最 先 进 的（DSC），即使它是在2479[13]第十三届全国人大常委会第十五次会议审议通过了《中华人民共和国电信与信息服务业务经营许可证》。[8] Guoet al. [第十一届][13]第27话：我的世界，我的世界[编辑][8] Guoet al. [11]图5：比较ISTD [35]（顶部两行）&SRD [27]（最后三行）数据集上的阴影去除结果。在第五列中，前两个结果来自ST-CGAN [35]，而其他结果来自DeshadowNet [27]。相同的训练集，因为以不成对的方式训练提高了我们模型的泛化能力。5.3. 使用SRD和ISTD进行比较接下来，我们将我们的方法与SRD和ISTD数据集（配对数据）上的其他方法进行比较。在这里，我们在SRD训练集上训练了我们的Mask-ShadowGAN，并在SRD测试集上测试了它，然后在ISTD训练集上重新训练了我们的由于Mask-ShadowGAN被设计为在未配对的数据上进行训练，因此我们在训练期间从阴影图像集中随机选择一个图像，并从每个小批次的无阴影图像集中随机选择另一个图像定量和目视比较。 与其他阴影去除方法（DSC [13]，ST-CGAN [35]，DeshadowNet [27]，Gong等人）进行比较。[8]，Guoet al.[11]，Yanget al.[40]），我们直接从作者那里获得了他们的结果，或者通过使用建议的参数设置使用公共代码生成它们在这里，DSC、ST-CGAN和De-shadowNet是端到端产生无阴影图像的深度网络Gong等，Guo等，和Yanget al.利用图像先验来消除阴影。我们在表3中给出了结果，其中我们的方法实现了RMSE值（即使在未配对的人中训练表3：在RMSE方面，与SRD [27]和ISTD [35]数据集上的 最 新方 法 进 行比 较 。 请 注意 ， ST-CGAN [35]和Deshad- owNet [27]的代码不是公开的，所以我们直接在各自的数据集上与他们的结果进行比较。训练数据方法SRD [27]ISTD [35]未配对Mask-ShadowGAN7.327.61CycleGAN [43]9.148.16DSC [13]6.216.67配对ST-CGAN [35]-7.47[27]第二十七话6.64-Gong等人 [八]《中国日报》8.738.53-Guo等人 [第十一届]12.609.30Yang等人[第四十届]22.5715.63ner）与其他在配对图像上训练的深度神经网络相比，明显优于基于手工特征的方法。还要注意的是，ST-CGAN [35]和DeshadowNet [27]的代码不是公开的，我们只能在他们发表的论文中使用的数据集上报告他们的结果。图5显示了这两个数据集的视觉比较结果，其中提出了一些具有挑战性的情况，例如，大阴影区域（前三行）和复杂纹理背景上的阴影（第一、第四和第五行）。虽然Mask的RMSE值-2480输入图像CycleGAN Mask-ShadowGAN图6：与CycleGAN [43]生成阴影图像的比较。请注意，CycleGAN对相同的输入产生相同的输出，而Mask-ShadowGAN可以产生不同的输出，如阴影遮罩（二进制图像）所示乾虽然CycleGAN总是为相同的无阴影输入生成相同的阴影图像，但Mask-ShadowGAN能够在阴影遮罩的帮助下生成多个逼真的阴影图像，这些阴影遮罩也是在网络中从一些真实的阴影图像中自动学习的。输入图像CycleGAN Mask-ShadowGAN图7：与CycleGAN [43]在生成无阴影图像方面的目视比较。在这些数据集上的ShadowGAN比在配对数据上训练的深度网络更高，Mask-ShadowGAN可以生成更真实的图像，并且更好地保留被阴影遮挡的纹理细节;再次参见图5中的第一、第四和第五行。这是因为我们学习从真实阴影/无阴影图像的可靠内在统计中重新移动阴影，并通过对抗学习避免不切实际的与 CycleGAN 比 较 。 此 外 ， 我 们 将 我 们 的 方 法 与CycleGAN [43]进行了比较，CycleGAN [ 43 ]旨在使用未配对的训练数据进行一般的图像到图像的翻译。在这里，我们采用了作者提供的实现，并使用与我们的Mask-ShadowGAN相同的参数设置在SRD和ISTD训练集上重新训练模型。表3报告了结果，表明我们的方法在两个数据集上都优于CycleGAN。通过利用阴影掩模来引导真实图像和生成的无阴影图像的阴影生成图7显示了视觉比较结果 。 Mask-ShadowGAN 可 以 清 楚 地 去 除 阴 影 ， 但CycleGAN往往会在被阴影遮挡的区域上产生伪影。此外，图6示出了通过Mask-ShadowGAN和通过Cycle-6. 结论在这项工作中，我们提出了一种新的生成对抗框架，命名为Mask-ShadowGAN，用于基于不成对阴影和无阴影图像的阴影去除。我们的核心思想是在阴影模板的指导下，将不确定的无阴影图像到阴影图像的转换转化为确定的图像转换，阴影模板是从真实的阴影图像中自动学习的。此外，我们构建了第一个不成对阴影去除（USR）数据集，在各种数据集上测试我们的方法，并将其与最先进的方法进行比较，以显示其质量，定量和视觉。然而，我们的方法假设一个小的域差异（例如，场景内容的变化）。此外，为了获得更好的结果，我们通常需要更大的训练集。在未来，我们计划使用生成的阴影蒙版来促进新的应用，例如阴影编辑，在那里我们可以操纵阴影，而不仅仅是删除它们。我们还计划探索用于其他图像转换应用的掩模生成技术，其中图像集之间的映射不是一对一的，例如，学习从未配对的真实雨/雪和无雨/无雪图像中删除/合成雨或雪。致谢。这工作是支持通过中国国家基本计划，973计划（项目编号：2015CB351706）、深圳市科技计划（ JCYJ20170413162256793JCYJ20170413162617606 ）、香港特别行政区研究资助局（项目编号&：香港中文大学14201918），以及香港中文大学研究委员会资助计划（直接补助金）（项目编号：4055103）。胡晓伟是由香港博士资助的奖学金2481引用[1] Amjad Almahairi，Sai Rajeshwar，Alessandro Sordoni，Philip Bachman ， and Aaron C. 考 维 尔 增 强 的 Cy-cleGAN：从非配对数据学习多对多映射。在ICML，第195-204页，2018年。3[2] 伊莱·阿贝尔和哈吉特·赫尔·奥尔阴影消除使用强度表面和纹理锚点。IEEE Transactions on Pattern Analysis andMachine Intelligence，33（6）：1202- 1216，2011。2[3] Carl Doersch、Abhinav Gupta和Alexei A.埃夫罗斯通过上下文预测的非监督视觉表示学习在ICCV，第1422-1430页，2015中。2[4] 格雷厄姆·D作者：Mark S.德鲁和程璐。熵最小化的阴影消除。国际计算机视觉杂志，85（1）：35-57，2009年。2[5] 格雷厄姆·D作者：Steven D.Hordley，and Mark S.Drew.去除图像中的阴影。ECCV，第823-836页，2002年2[6] 格雷厄姆·D作者：Steven D. Hordley，Cheng Lu，andMark S. Drew. 关 于 去 除 图 像 中 的 阴 影 。 IEEETransactionsonPatternAnalysisandMachineIntelligence，28（1）：59-68，2006. 2[7] ClementFredembach 和 GrahamFinlayson 。 基 于Hamiltonian在BMVC，第2卷，第502-511页，2005中。2[8] Han Gong和D.P. 科斯克交互式阴影消除和地面真理的可变场景类别。在BMVC，第1-11页，2014中。二五六七[9] 伊恩·古德费洛、让·普盖特-阿巴迪、迈赫迪·米尔扎、许冰、大卫·沃德-法利、谢尔吉尔·奥扎尔、阿伦·库维尔和约舒亚·本吉奥。生成性对抗网。在NeurIPS，第2672-2680页，2014中。2[10] Maciej Gryka、Michael Terry和Gabriel J.布罗斯托学习如何去除柔和的阴影。ACM Transactions on Graphics，34（5）：153，2015。一、二[11] Ruiqi Guo，Qieyun Dai，and Derek Hoiem.用于阴影检测 和 去 除 的 配 对 区 域 IEEE Transactions on PatternAnalysis and Machine Intelligence ， 35 （ 12 ） ： 2956-2967，2013. 一、二、五、六、七[12] 杰弗里·E Hinton和Ruslan R.萨拉赫季诺夫用神经网络降低数据的维数。Science，313（5786）：504-507，2006.2[13] 胡晓伟，傅志荣，朱磊，秦静，和Pheng-Ann Heng。用于阴影检测和去除的方向感知空间上下文特征。IEEETransactionsonPatternAnalysisandMachineIntelligence，2019。出现一、二、五、六、七[14] Xiaowei Hu ， Lei Zhu ，Chi-Wing Fu ，Jing Qin ， andPheng-Ann Heng.用于阴影检测的方向感知空间上下文特征。在CVPR中，第7454-7462页，2018年。2[15] Phillip Isola，Jun-Yan Zhu，Tinghui Zhou，and Alexei A.埃夫罗斯使用条件对抗网络的图像到图像翻译。 在CVPR中，第1125-1134页，2017年。 二三五[16] 贾斯汀·约翰逊，亚历山大·阿拉希，李飞飞。实时风格转换和超分辨率的感知损失。ECCV，第694-711页，2016年。5[17] Salman Hameed Khan ， Mohammed Bennamoun ，Ferdous Sohel，and Roberto Togneri.用于鲁棒阴影检测的自动特征学习。在CVPR，第1939-1946页2[18] Salman Hameed Khan ， Mohammed Bennamoun ，Ferdous Sohel，and Roberto Togneri.自动阴影检测和消除从一个单一的图像 。IEEE Transactions on PatternAnalysis and Machine Intelligence，38（3）：431-446，2016。一、二[19] Taeksoo Kim、Moonsu Cha、Hyunsoo Kim、Jung KwonLee和Jiwon Kim。学习发现跨域关系与生成对抗网络。在ICML，第18572[20] Diederik P. Kingma和Jimmy Ba。Adam：随机最佳化的方法。arXiv预印本arXiv：1412.6980，2014。5[21] Hieu Le，Thomas F. Yago Vicente，Vu Nguyen，MinhHoai，and Dimitris Samaras.A+D Net：使用对抗性阴影衰减训练阴影在ECCV中，第662- 678页，2018年。2[22] 李欣英、曾鸿宇、黄佳斌、曼尼什·辛格和杨明轩。通过解 纠缠 的表 示进 行不 同的图 像到 图像 的翻 译在ECCV，第35-51页3[23] 凤琉和迈克尔·格莱歇。纹理一致的阴影消除。见ECCV，第437-450页，2008年。2[24] Ankit Mohan，Jack Tumblin，and Prasun Choudhury.在数码照片中编辑柔和的阴影。IEEE Computer Graphicsand Applications，27（2）：23-31，2007. 2[25] 大津信之一种基于灰度直方图的阈值选取方法。IEEETransactions on Systems ， Man ， and Cybernetics ， 9（1）：62-66，1979. 4[26] DeepakPathak，RossGirshick，PiotrDolla'r，TrevorDarrell和Bharath Hariharan。通过观察物体运动来学习特征。在CVPR中，第2701-2710页，2017年。2[27] Liangqiong Qu ， Jiandong Tian ， Shengfeng He ，Yandong Tang，and Rynson W.H.刘DeshadowNet：一个用于阴影消除的多上下文嵌入深度网络。在CVPR中，第4067-4075页，2017年。一、二、五、六、七[28] Yael Shor和Dani Lischinski。阴影与遮罩相遇：基于金字塔的阴影消除。在计算机图形论坛，第27卷，第577-586页。Wiley Online Library，2008. 2[29] Ashish Shrivastava，Tomas Pfister，Oncel Tuzel，JoshuaSusskind，Wenda Wang，and Russell Webb. 通过对抗训练从模拟和无监督图像中在CVPR中，第2107-2116页，2017年。2[30] Yaniv Taigman Adam Polyak和Lior Wolf非监督跨域图像生成。arXiv预印本arXiv：1611.02200，2016。4[31] 德米特里·乌里扬诺夫，安德烈·维达尔迪，维克多·伦皮茨基。 实例归一化：快速造型缺少的成分。arXiv预印本arXiv：1607.08022，2016。5[32] 托玛是F。 我是维森特明怀和迪米·特里斯·萨马拉斯。用于阴影检测和去除的留一核优化IEE