无监督域分类器引导的DC-ShadowNet用于单图像硬阴影和软阴影去除

50270DC-ShadowNet：使用无监督域分类器引导网络进行单图像硬阴影和软阴影去除0Yeying Jin 1，Aashish Sharma 1和Robby T. Tan 1, 201 新加坡国立大学，2 耶鲁-NUS学院0jinyeying@u.nus.edu，aashish.sharma@u.nus.edu，robby.tan@{nus，yale-nus}.edu.sg0摘要0从单个图像中去除阴影通常仍然是一个未解决的问题。大多数现有的基于学习的方法使用监督学习，需要大量成对的图像（阴影和相应的非阴影图像）进行训练。最近的一种无监督方法，Mask-ShadowGAN[13]，解决了这个限制。然而，它需要一个二进制掩码来表示阴影区域，因此无法应用于软阴影。为了解决这个问题，本文提出了一种无监督域分类器引导的阴影去除网络，即DC-ShadowNet。具体来说，我们提出将阴影/非阴影域分类器集成到生成器和鉴别器中，使它们能够专注于阴影区域。为了训练我们的网络，我们引入了基于物理的无阴影色度、阴影鲁棒感知特征和边界平滑度的新损失。此外，我们还展示了我们的无监督网络可以用于测试时训练，进一步改善结果。我们的实验证明，所有这些新颖的组件使我们的方法能够处理软阴影，并且在定量和定性上比现有的最先进的阴影去除方法表现更好。01. 引言0从单个图像中去除阴影可以使许多应用受益，例如图像编辑、场景照明等[19, 17,16]。然而，总体而言，从单个图像中去除阴影仍然是一个未解决的问题。现有的基于物理的阴影去除方法[7, 6,10]基于熵最小化，可以捕捉到在对数色度空间中属于同一表面的阴影和非阴影区域的不变特征。然而，这些方法往往在图像表面接近无色（例如灰色或白色表面）时容易失败，并且不适用于处理软阴影图像。0†本工作得到MOE2019-T2-1-130的支持。0（a）输入图像0（b）真实值0（c）Mask-ShadowGAN [13]0（d）我们的DC-ShadowNet0图1. 现有的最先进的阴影去除方法（如Mask-ShadowGAN[13]）无法正确去除软阴影并产生伪影（见红框内的区域）。相比之下，我们的方法生成了更好的无阴影输出。0与基于物理的方法不同，深度学习方法（例如[24, 27, 14,20, 1,21]）对于图像表面和光照的不同条件更具鲁棒性。然而，大多数这些方法都是基于全监督学习的，这意味着在训练时需要一对阴影和相应的非阴影图像。收集这些大量的图像对，特别是包含不同场景和阴影的图像，可能非常昂贵。最近，胡等人提出了一种无监督方法，Mask-ShadowGAN[13]，其网络架构基于CycleGAN[34]。为了去除阴影，该方法主要依赖于采用对抗训练的方式。50280鉴于缺乏真实值，鉴别器仅依赖于不成对的非阴影图像，这可能导致生成器产生不正确的输出。此外，该方法使用二进制掩码来表示输入图像中的阴影区域，因此无法应用于软阴影图像。图1显示了一个例子，对于给定的软阴影输入图像，方法[13]生成的输出是不正确的。0本文的目标是从单张图像中去除硬阴影和软阴影。为了实现这一目标，我们提出了DC-ShadowNet，一种由阴影/无阴影领域分类器引导的无监督网络。具体而言，我们将一个领域分类器（将输入图像分类为阴影或无阴影领域）集成到生成器和相应的判别器中。这使得我们的生成器和判别器能够专注于阴影区域，从而更好地进行去影。与现有的无监督方法[13]不同，该方法仅依赖于基于非配对的判别器的对抗训练（即使用非阴影图像作为参考图像），我们的方法使用了额外的新型无监督损失，使得我们的方法能够实现更好的去影效果。我们的新损失基于基于物理的无阴影色度、阴影鲁棒的感知特征和边界平滑性。0我们的基于物理的无阴影色度损失使用无阴影色度图像，该图像是通过在对数色度空间中进行熵最小化来从输入阴影图像中获得的[7]。我们的阴影鲁棒感知特征损失使用从输入阴影图像中使用预训练的VGG-16网络获得的阴影鲁棒特征[15]。我们还添加了边界平滑性损失，以确保我们的输出无阴影图像在包含阴影边界的区域具有更平滑的过渡。所有这些想法使得我们的方法能够更好地处理硬阴影和软阴影图像，相比于现有方法如[13]（见图1，展示了我们方法更好的性能）。此外，我们还展示了我们的无监督方法可以用于测试时训练，以进一步提高我们方法的性能。总结起来，我们的贡献如下：01.我们引入了DC-ShadowNet，一种新的无监督单图像去影网络，由一个领域分类器引导，以便专注于阴影区域。02.我们提出了基于基于物理的无阴影色度、阴影鲁棒感知特征和边界平滑性损失的新型无监督损失，用于鲁棒的去影03.据我们所知，我们的方法是第一个能够在单张图像中鲁棒地去除硬阴影和软阴影的无监督方法。02. 相关工作0基于物理的去影方法（例如[4, 3, 5, 7, 6]）06]是基于照明和表面颜色的物理模型。这些方法假设输入图像中的表面颜色是色度的，因此当这个假设不成立时，它们是错误的。这些方法仅设计用于去除硬阴影。相比之下，我们的方法基于无监督学习，旨在处理硬阴影和软阴影。此外，我们的方法在处理无色表面时更加鲁棒。其他一些非学习方法依赖于用户交互。Gryka等人[9]提出了一个回归模型，学习阴影图像区域及其对应的阴影蒙版的映射函数。然而，他们需要用户提供刷子笔触来重新照明阴影区域。Guo等人[10,11]使用注释的真实数据来学习阴影区域的外观。与这些方法不同，我们的方法是基于学习的，不依赖于手工设计的特征描述符，因此更加鲁棒。此外，我们的方法不需要任何注释的真实数据和用户交互，因此更加实用和高效。为了解决非深度学习方法的上述局限性，提出了许多基于深度学习的方法。Wang等人[27]使用堆叠的条件GAN（ST-CGAN）来联合检测和去除阴影。Le等人[20,21]提出了SP+M-Net来使用图像分解进行去影。Hu等人[14,12]提出将全局和方向感知上下文添加到方向感知空间上下文（DSC）模块中。Ding等人[2]引入了基于LSTM的注意力循环GAN（ARGAN）来检测和去除阴影。所有这些方法都是使用监督学习的配对数据进行训练。因此，使用各种软阴影和复杂场景对它们进行训练是困难的，因为获得地面真实数据是棘手的。相比之下，我们的方法是基于无监督学习的，不需要任何配对数据。最近，Hu等人[13]提出了一种无监督的深度学习方法Mask-ShadowGAN。不幸的是，由于它主要依赖于对抗训练进行去影，它不能保证生成的输出图像是无阴影的，因为网络没有强有力的指导。此外，由于使用了二值掩模，它不能处理软阴影。相比之下，我们的方法DC-ShadowNet使用了新的额外无监督损失和领域分类器引导网络，帮助我们的方法更有效地处理硬阴影和软阴影。03. 提出的方法0图2显示了我们的网络DC-ShadowNet的架构。给定一个阴影输入图像Is，我们使用一个生成器Gs将其转换为无阴影输出图像Zsf。此外，给定一个不成对的无阴影输入图像Isf，......50290：残差相加：色度函数：边界检测：掩膜计算0VGG16 VGG160物理学0真/假0图2.我们的DC-ShadowNet网络架构。我们有两个领域：阴影s和无阴影sf。我们的阴影去除生成器由Gs表示。它包括一个编码器Fgs，一个解码器Hgs和一个领域分类器Φgs。我们还使用一个鉴别器Dsf，它包括自己的编码器Fdsf，一个分类器Cdsf和一个领域分类器Φdsf。对于输入的阴影图像Is，它对应的输出无阴影图像由Zsf表示。此外，对于不成对的输入无阴影图像Isf，Gs将图像重构回来。领域分类器Φgs和Φdsf用于分类它们各自网络Gs和Dsf的输入是否属于阴影（s）或无阴影（sf）领域。为了引导我们的生成器Gs进行阴影去除，除了来自鉴别器Dsf的对抗损失外，我们还包括新的损失：基于物理的无阴影色度损失Lchroma（紫色），由从Is获取的基于物理的无阴影色度σσσphysf引导；阴影鲁棒特征损失Lfeature（红色），由从Is获取的阴影鲁棒感知特征V（Is）引导；边界平滑损失Lsmooth（橙色），由我们生成的软阴影掩膜Ms的边界检测引导。0我们期望生成器Gs只是将图像重构回来。因此，无论生成器Gs的输入是阴影图像还是无阴影图像，它总是生成一个无阴影的输出图像。请注意，在我们的方法中，我们有两个领域：阴影s和无阴影sf。我们的生成器Gs由编码器（Fgs）、解码器（Hgs）和领域分类器（Φgs）组成。我们使用一个鉴别器Dsf来评估阴影去除输出的质量。它由一个编码器（Fdsf）、一个分类器（Cdsf）和一个领域分类器（Φdsf）组成。领域分类器Φgs和Φdsf都用于分类各自模块Gs和Dsf的输入是否属于阴影或无阴影领域。然而，与Φgs一起训练的Φdsf是预训练的，并且在训练Dsf时保持权重冻结。将领域分类器集成到我们的生成器和鉴别器中的基本思想是引导我们的网络专注于阴影区域。我们鉴别器的参考图像是不成对的无阴影真实图像。我们的鉴别器的分类器Cdsf输出真/假的二进制标签，其中真指的是给予属于参考图像的图像的标签。图2中没有显示出来，为了清晰起见，我们还使用另一个生成器Gsf和阴影掩膜将无阴影输出图像转换回阴影图像，以强制实现重构一致性[34]和局部一致性。0为了消除阴影，我们还使用另一个鉴别器Ds来区分生成的阴影图像是否真实。我们的方法DC-ShadowNet是通过使用下面描述的损失函数以无监督的方式进行训练的。03.1. 无阴影色度损失0给定一个阴影输入图像Is，我们得到一个基于物理的无阴影色度图像σσσphysf，用于引导我们的阴影去除生成器Gs，通过我们的无阴影色度损失函数。从Is获取σσσphysf需要两个步骤：（1）熵最小化，和（2）光照补偿。0熵最小化  根据[6]，如图3所示，我们将输入阴影图像Is绘制到对数色度空间中，计算熵，并使用熵最小化来找到特定于Is的投影方向θ。从θ，我们可以获得不再包含任何阴影的无阴影色度地图σσσ ent sf（参见图3和0然而，由于投影，σσσ entsf中存在颜色偏移，可以通过使用照明补偿过程进行校正0照明补偿  为了校正无阴影色度地图σσσ entsf的颜色，根据[3]，我们添加...Illumination CompensationLog-rg SpaceEntropy Minimization σσσZsf c =Lfeature(Gs) = EIs[ V (Zsf) − V (Is) 1],(3)50300物理0图3.无阴影色度损失。上部分是基于物理的流程，我们使用熵最小化后跟照明补偿从输入图像I s生成无阴影色度图像σσσ physf。下部分显示了通过σσσ phy sf引导的我们的阴影去除生成器Gs，通过我们的无阴影色度损失L chroma。0(a)  输入0(b)  σσσent sf0(c)  σσσphy sf0(d)  输出0(e)  σσσ ZSF0图4. (a) 输入阴影图像I s，(b) 熵最小化后的无阴影色度σσσ entsf，(c) 照明补偿后的无阴影色度σσσ phy sf，(d) 输出无阴影图像Zsf，(e) 输出图像的色度图σσσ Zsf。我们的无阴影色度损失约束(e)与(c)相似，有助于更好的阴影去除。0返回非阴影区域的原始照明颜色到地图。为此，我们基于假设从输入图像Is中均匀采样亮度最高的30％像素，这些像素位于Is的非阴影区域。一旦恢复了照明颜色，我们可以获得新的无阴影色度地图σσσ physf，（参见图3和4c）。在获得输出无阴影图像Zsf的无阴影色度σσσ physf之后，我们通过以下方式计算其色度地图σσσ Z sf：0( Z sf r  +  Z sf g  +  Z sf b ) , (1)0其中c ∈ { r, g, b }表示颜色通道，Z sf = [ Z sf r ,  Z sf g ,Z sf b ]，σσσ Z sf = [ σσσ Z sf r ,σσσ Z sf g ,σσσ Z sf b]。现在我们可以定义无阴影色度损失为：0L chroma ( G s ) =  E I s � || σσσ Z sf −  σσσphy sf || 1 � . (2)0使用等式(2)表示的损失函数，我们强制输出无阴影图像的色度，σσσ Z sf，与基于物理的无阴影色度相同0(a)  输入0(b)  V  ( I s )0(c)  输出0(d)  V  ( Z sf )0图5. (a) 输入阴影图像I s，(b) I s的样本特征图，(c)输出无阴影图像Z sf，(d) Zsf的样本特征图。我们可以观察到，输入阴影图像的特征在(b)中受阴影影响较小，并且与(d)中的特征相似，这归功于我们的阴影鲁棒特征损失。0σσσ phy sf，可以从图4中的结果中观察到0对于硬阴影和软阴影图像都适用1。03.2. 阴影鲁棒特征损失0我们的阴影鲁棒特征损失基于预训练的VGG-16网络[15，26]获得的感知特征。由于我们没有地面真实数据来获得正确的无阴影特征，为了引导无阴影输出，我们使用输入阴影图像本身的特征。我们的基本思想是，由于在一定程度上存在阴影和照明条件，使用预训练的VGG-16进行物体分类已知具有鲁棒性[28]，预训练的VGG-16中应该存在一些受阴影影响较小的特征。基于此，我们进行了一次校准实验，并发现VGG-16网络中的Conv22层提供的特征受阴影影响最小。因此，从输入阴影图像中，我们获得阴影鲁棒特征并将其用于引导我们的无阴影输出图像。具体而言，给定输入阴影图像I s和相应的无阴影输出图像Zsf，我们定义我们的阴影鲁棒特征损失为：0其中V(I s)和V(Zsf)分别表示从预训练的VGG-16网络的Conv22层提取的特征图，用于I s和Zsf。图5显示了一些示例，我们可以观察到特征V(Is)受阴影影响较小，更多地表示结构信息(如边缘)。01对于接近无色的表面，熵最小化可能会失败，这可能导致阴影去除色度图的恢复不正确。然而，由于我们的其他无监督损失的存在，我们的方法仍然可以生成正确的阴影去除结果。 ... GAPGAP : Global Average Pooling AVG : Average : Weights Multiplication: Residual Addition......FC AVG Ldomcls(Dsf) =EIs�− log�Φdsf(F dsf(Is))��+EIsf�− log 1 − Φdsf(F dsf(Isf))�, (4)Ldomcls(Gs) =EIs�− log�Φgs(F gs (Is))��+EIsf�− log(1 − Φgs(F gs (Isf)��.(5)1350310图6. 域分类和阴影注意力。在生成器G s 中，其编码器F g s从输入阴影图像I s 中提取特征图Π gs。与[33]中一样，使用全局平均池化(GAP)，域分类器Φ g s被训练为学习特征图的权重w gs。加权特征图的平均生成一个注意力图A g s，即A g s = 1 n � n i=1 w g s i Π g si(n是特征图的总数)，清楚地显示出网络关注的阴影区域。03.3. 域分类损失0我们采用了一种注意机制，使得我们的DC-ShadowNet能够知道阴影去除/恢复区域[33, 23,18]。为了实现这一点，我们创建了一个域分类器Φ gs，并将其与生成器G s 集成在一起。我们训练Φ g s 对G s的输入进行分类，判断其来自阴影域还是无阴影域。图6显示了将Φ g s 集成到G s中以获得一个突出显示阴影区域的注意力图A gs。我们还在判别器D sf 中添加了一个类似的域分类器Φ dsf。这使得我们的网络能够有选择地关注重要的阴影区域，并生成更好的阴影去除结果(参见图7)。由于生成器可以接受阴影或无阴影图像作为输入，因此可以与其域分类器一起训练。然而，对于判别器来说，其输入图像的域，即生成器的输出，可能是模糊的2。因此，我们使用以下分类损失对判别器的域分类器进行预训练:0在预训练之后，我们在主训练周期中冻结其权重，该周期训练整个网络(参见图2)。为了训练生成器的域分类器，我们使用类似的分类损失:02在训练的早期阶段，阴影去除可能不正确，生成器的输出仍然可能有阴影。因此，很难确保输出的域始终是无阴影的。0(a)输入0(b) Ag s0(c)输出0图7. (a) 输入阴影图像I s，(b) 注意力图A g s，(c)输出无阴影图像Zsf。注意力图清楚地指示了输入阴影图像的阴影区域。03.4. 边界平滑损失0为了确保输出的无阴影图像Z sf 在输入阴影图像I s的阴影区域定义的边界上具有更平滑的过渡，我们还使用了边界平滑损失:0L smooth ( G s ) =  E I s 使得 E I s 的梯度 � ( Z sf )的L1范数最小化，其中B是一个鲁棒的函数，用于从0其中�是梯度操作，B是一个鲁棒的函数，用于从我们的阴影掩码M s 中计算阴影区域的边界。为了获得Ms，我们计算输入阴影图像I s 和输出无阴影图像Z sf之间的差异，并在差异上应用我们的掩码检测函数F:0M s  =  F � I sc  − Z sf c � = �0c ∈{ r,g,b }0��� � N ( I sc  − Z sf c ) � � �� ,(7)0其中函数N是一个归一化函数，定义为N ( I ) = ( I  −  I min) / ( I max  −  I min )，其中I max和Imin分别是I的最大值和最小值。需要注意的是，我们的阴影掩码M s 是一个软映射，并且其值在[0,1]范围内。参见图8b中的一些示例。噪声鲁棒函数B定义为0q ∈ R p g p , q ∂ x ( M s ( q )) ��  and B sy ( p ) = �� �02 τ 2�，其中τ默认设置为0.01。参见图8(c)中我们软边界检测的一些示例。03.5. 对抗、一致性和身份损失0对于去除阴影，我们使用生成器G s，它与鉴别器D sf耦合。为了确保重建一致性，我们使用另一个生成器Gsf，它与其自己的鉴别器D s耦合。我们使用对抗损失来训练我们的DC-ShadowNet：50320(a) 输入0(b) M s0(c) B ( M s )0(d) 输出0图8. (a) 输入阴影图像，(b) 软阴影掩码M s ，(c)检测到的阴影边界，以及(d)我们的输出无阴影结果。我们可以观察到我们的边界平滑损失有助于在阴影边界区域产生更平滑的输出。0L adv ( G s , D sf ) =  E I s � log � 1  −  D sf ( G s ( I s )) ��，0L adv ( G s , D sf ) =  E I sf � log � D sf ( I sf ) �� + (8)0L adv ( G sf , D s ) =  E I sf �0L adv ( G sf , D s ) =  E I s � log � D s ( I s ) �� + (9)0在训练过程中，实际上最小化了公式(8)和(9)中的损失函数，分别为min G s  max D sf  ( L adv ( G s , D sf ))和min Gsf  max D s  ( L adv ( G sf , D s))。需要注意的是，与生成器G s 不同，生成器G sf将掩码M s(来自公式(7))作为输入，以帮助生成更合适的阴影图像[13]。根据[34, 30]，我们定义了重建一致性损失：0L cons ( G s ) =  E I s � || G sf � G s ( I s ) ,  M s � −  I s || 10L cons ( G sf ) =  E I sf � || G s � G sf ( I sf ,  M s ) � −  I sf ||1 � .  (11)0虽然我们的G s 旨在从阴影输入图像I s中去除阴影，但我们还鼓励它在输入为无阴影图像I sf时输出相同的图像。我们通过使用以下身份损失[34]来实现：0L iden ( G s ) =  E I sf � || ( G s ( I sf ))  −  I sf || 1 �0L iden ( G sf ) =  E I s � || ( G sf ( I s ,  M 0 )  −  I s ) ||1 �，(13)0其中M0表示所有零值的掩码。0总损失：我们将每个损失函数乘以其相应的权重，并将它们相加以获得我们的总体损失函数。损失的权重{L chroma , Lfeature , L smooth ,  L domcls ,  L adv ,  L cons ,  Liden}由{ λ chroma ,  λ feat ,  λ sm ,  λ dom ,  λ adv ,  λcons ,  λ iden}表示。04. 实验0为了评估我们的方法，我们使用了五个数据集：SRD[24]，调整后的ISTD（AISTD）[20]，ISTD [27]，USR [13]和0表1. SRD数据集上的RMSE结果。All，S和NS分别表示整个、阴影和非阴影区域。0方法 训练 All S NS0我们的DC-ShadowNet非配对4.66 7.70 3.39Mask-ShadowGAN [13]非配对6.40 11.46 4.290DSC [14] 配对 4.86 8.81 3.23 DeShadowNet [24] 配对5.11 3.57 8.820Gong等人[8] - 12.35 25.43 6.910输入图像 - 13.77 37.40 3.960表2.AISTD数据集上的RMSE结果。All，S和NS分别表示整个区域，阴影区域和非阴影区域。M表示在训练中也使用了真实阴影掩膜。0方法 训练 全部 S NS0我们的DC-ShadowNet 非配对 4.6 10.3 3.5Mask-ShadowGAN [13] 非配对 5.3 12.5 4.00DeshadowNet [24] 配对 7.6 15.9 6.0 ST-CGAN [27]配对+M 8.7 13.4 7.70Gong等[8] - - 13.3 - Guo等[10] 配对+M 6.1 22.0 3.1Yang等[32] - 16.0 24.7 14.40输入图像 - 8.5 40.2 2.60LRSS[9]，其中LRSS是一个软阴影数据集。为了公平比较，包括我们在内的所有无监督基线模型都在相同的数据集上进行训练和测试。对于SRD数据集，对于表1和图9的第2-4行，我们使用2680个有阴影图像和2680个无阴影图像进行训练。我们使用408个具有无阴影真实值的阴影图像进行测试。类似地，对于表2，我们使用1330个训练和540个测试的AISTD图像；图9的第1行，我们使用1330个训练和540个测试的ISTD图像。对于USR数据集，我们使用1956个有阴影和1770个无阴影图像进行训练，使用489个有阴影图像进行测试。然而，对于测试，USR数据集不提供配对的阴影和无阴影图像。我们的DC-ShadowNet是以无监督方式进行训练的（第3节）。我们的损失权重{λ chroma，λ feat，λ sm，λiden，λ adv，λ cons，λdom}被设定为{1，1，1，10，1，10，1}。根据基线模型[11，13]，为了评估去除阴影的性能，我们使用了真实值和预测的无阴影图像之间的均方根误差（RMSE）。因此，较低的数值表示更好的性能。03[13，14，27，8，20，1]的结果来自它们的官方实现。[9，11]的结果来自它们的项目网站：http://visual.cs.ucl.ac.uk/pubs/softshadows/。定量结果来自论文[21]。4如[22]中所述，所有方法（包括我们的方法）使用的默认RMSE评估代码实际上计算的是平均绝对误差（MAE）。w/o Lsmooth4.727.803.43w/o Lfeature4.838.043.50w/o Lchroma5.058.503.61w/o Φgs5.208.943.65w/o Φdsf5.499.423.87w/o Φgs and Φdsf8.1216.104.8050330表3.LRSS数据集（软阴影数据集）上的RMSE（较低值更好）和PSNR（较高值更好）结果。M和S分别表示在训练中使用了真实阴影掩膜和合成配对数据。P和UP分别表示配对和非配对训练。0方法 输入 [11] [11]（自动） [9] [1] [20] [13] 我们的方法0RMSE 12.26 6.02 5.87 4.38 7.92 7.48 7.13 3.48 PSNR 18.05 27.88 28.02 29.25 25.5723.93 25.12 31.010训练 - P+M P P+M+S P+M+S P+M UP UP0（a）输入0（b）我们的方法0（c）[13]0（d）[21]0（e）[27]0（f）[8]0（a）输入0（b）我们的方法0（c）[13]0（d）[14]0（e）[24]0（f）[8]0图9. ISTD（顶部一行）和SRD（底部三行）数据集上的比较结果。（a）输入图像，（b）我们的方法，无监督方法（c）Mask-ShadowGAN [13]，弱监督方法（d）Param+M+D-Net[21]（顶部一行），监督方法DSC [14]，（e）ST-CGAN[27]（顶部一行），De-shadowNet[24]，以及传统方法（f）Gong等[8]。我们使用无监督学习训练的方法提供了最佳性能。0硬阴影的结果我们在SRD和AISTD数据集上进行定量评估，相应的结果分别显示在表1和表2中。为了比较，我们使用了最先进的无监督阴影去除方法Mask-ShadowGAN[13]，弱监督方法Param+M+D-Net [21]，监督方法DSC[14]，DeshadowNet [24]，ST-CGAN[27]和传统方法Gong等[8]，Guo等[11]和Yang等[32]。从表1和02，我们的DC-ShadowNet以无监督的方式训练，与基线方法相比取得了最佳性能。与最先进的无监督方法Mask-ShadowGAN[13]相比，我们在SRD和AISTD数据集上的阴影区域结果分别提高了约33%和约18%。SRD（第2-4行）和ISTD（顶行）数据集的定性结果显示在图9中，其中包括具有挑战性的条件和多样化的对象。例如，阴影图像包含投射在语义对象（即建筑物、墙壁）上的阴影。在图9中，方法[13]改变了0表4.使用SRD数据集的我们方法的消融实验。全部、S和NS分别表示整个、阴影和非阴影区域。数字表示RMSE。0方法 全部 阴影 非阴影0我们的DC-ShadowNet 4.66 7.70 3.390输入图像 13.77 37.40 3.960非阴影区域的颜色并不能正确处理阴影边界。对于方法[8]，阴影图像的恢复效果不理想。相比之下，我们的DC-ShadowNet表现更好，显示出我们的域分类网络和我们的新颖的无监督损失的有效性。0软阴影结果LRSS数据集有134个阴影图像，主要包含软阴影图像。我们在SRD训练集上预训练了我们的DC-ShadowNet，然后使用100个LRSS图像以无监督的方式进行训练。剩下的34个LRSS图像及其对应的无阴影图像用于测试。定量结果显示在表3中。我们将我们的DC-ShadowNet与以下方法进行比较：无监督方法Mask-ShadowGAN[13]，有监督方法SP+M-Net [20]和DHAN[1]，自动方法Guo[11]和交互方法[9]，后者需要用户标注阴影区域。如表3所示，我们的方法实现了最低的RMSE和最高的PSNR。定性结果涵盖了各种图像，如室内/室外场景、阴影区域等，显示在图10中。尽管最先进的方法在一定程度上可以去除阴影，但结果仍然不合适。Mask-ShadowGAN[13]无法处理软阴影，因为它使用二进制掩码表示阴影区域。此外，它主要依赖于对抗训练，无法保证适当的阴影去除。DHAN [1]和SP+M-Net[20]等有监督方法在阴影区域有伪影，因为它们受到域差异问题的困扰。Guo[11]由于难以自动识别软阴影区域而失败。与所有基线方法相比，我们的结果更加合适，图像表面恢复得更好。0测试时间训练我们展示了我们的无监督方法可以用于测试时间训练，以进一步改善测试图像上的结果。为此，我们使用了软阴影中使用的测试集中的34个阴影图像。(c) [13](d) [20](e) [1](f) Gryka [9](g) Guo [11]50340(a) 输入0(b)  我们的0(h) [ 11 ] (自动)0图10.软阴影LRSS数据集上的比较结果 (a) 输入图像，(b) 我们的结果，(c) 无监督方法Mask- ShadowGAN [13]，有监督方法 (d) SP+M-Net[20]和 (e) DHAN [1]。 (f) � (h) 是传统方法的结果（auto表示自动检测）。我们使用无监督学习训练的方法生成了更好的无阴影结果。0(a)  输入0(b)  我们的 (w/o)0(c)  我们的 (w)0（d）[13]0图11.（a）输入图像，（b）和（c）显示我们的结果，没有和有测试时训练，（d）Mask-ShadowGAN [13]的结果。0通过上述评估，并使用我们的无监督损失来训练我们的方法。为了评估阴影去除性能，我们使用相应的无阴影图像；在RMSE和PSNR方面的性能分别从3.48和31.01提高到3.36和31.31。请参见图11，展示了测试时训练的有效性的定性示例。05.消融研究0我们进行消融研究，分析我们方法的不同组成部分的有效性，例如阴影不变色度损失L chroma，阴影鲁棒特征0损失函数L feature，边界平滑损失L smooth和域分类器Φg s和Φ dsf。我们在SRD数据集上进行实验，并在表4中显示了相应的定量结果。我们方法的每个组成部分都很重要，并有助于提高我们方法的性能。06.结论0我们提出了DC-ShadowNet，一种由域分类网络、无阴影色度、阴影鲁棒特征和边界平滑损失引导的无监督学习阴影去除方法。我们的方法可以稳健地处理硬阴影和软阴影图像。我们将域分类器与生成器及其相应的判别器集成在一起，使我们的方法能够专注于阴影区域。为了训练DC-ShadowNet，我们使用了新颖的无监督损失，使其能够直接从未标记（无地面真实值）的真实阴影图像中学习。我们还展示了我们可以使用测试时细化来进一步提高性能。实验结果证实了我们的方法的有效性，并且优于最先进的阴影去除方法。50350参考文献0[1] Xiaodong Cun, Chi-Man Pun, and Cheng Shi.通过双层分层聚合网络和阴影抠图GAN实现无幽灵阴影去除. InAAAI , pages 10680– 10687, 2020.  1 ,  6 ,  7 ,  80[2] Bin Ding, Chengjiang Long, Ling Zhang, and ChunxiaXiao. Argan: 注意力循环生成对抗网络用于阴影检测和去除. InProceedings of the IEEE international conference oncomputer vision , pages 10213–10222, 2019.  20[3] Mark S Drew, Graham D Finlayson, and Steven D Hordley.通过光照不变性恢复无阴影的色度图像. In  IEEE Workshop onColor and Photo- metric Methods in Computer Vision,ICCV’03 , pages 32–39, 2003.  2 ,  30[4] Graham D Finlayson and Mark S Drew.4传感器相机校准，用于对遮蔽、阴影、照明和镜面反射不变的图像表示. In  Proceedings Eighth IEEE International Conferenceon Computer Vision. ICCV 2001 , volume 2, pages 473–480,2001.  20[5] Graham D Finlayson, Mark S Drew, and Cheng Lu.熵最小化的内在图像. In  European conference on computervision , pages 582–595, 2004.  20[6] Graham D Finlayson, Mark S Drew, and Cheng Lu.熵最小化用于阴影去除.  International Journal of ComputerVision , 85(1):35–57, 2009.  1 ,  2 ,  30[7] Graham D Finlayson, Steven D Hordley, Cheng Lu, andMark S Drew. 关于图像中阴影的去除. IEEE transactions onpattern analysis and machine intelli- gence , 28(1):59–68,2005.  1 ,  20[8] Han Gong and Darren Cosker.交互式阴影去除和可变场景类别的真实地面真实值. In  BMVC ,pages 1–11, 2014.  6 ,  70[9] Maciej Gryka, Michael Terry, and Gabriel J Brostow.学习去除软阴影.  ACM Transactions on Graphics (TOG) ,34(5):1–15, 2015.  2 ,  6 ,  7 ,  80[10] Ruiqi Guo, Qieyun Dai, and Derek Hoiem.单图像阴影检测和去除使用配对区域. In  CVPR 2011 , pages2033–2040, 2011.  1 ,  2 ,  60[11] Ruiqi Guo，Qieyun Dai和DerekHoiem。配对区域用于阴影检测和去除。IEEE模式分析和机器智能交易，35（12）：2956-2967，2012年。2，6，7，80[12] Xiaowei Hu，Chi-Wing Fu，Lei Zhu，JingQin和Pheng-AnnHeng。面向方向的空间上下文特征用于阴影检测和去除。IEEE模式分析和机器智能交易，42（11）：2795-2808，2019年。 20[13] Xiaowei Hu，Yitong Jiang，Chi-Wing Fu和Pheng-AnnHeng。Mask-shadowgan：学习从非配对数据中去除阴影。在IEEE国际计算机视觉会议论文集中，页码2472-2481，2019年。1，2，6，7，80[14] Xiaowei Hu，Lei Zhu，Chi-Wing Fu，Jing Qin和Pheng-AnnHeng。面向方向的空间上下文特征用于阴影检测。在IEEE会议论文集中。0在计算机视觉和模式识别会议上，页码7454-7462，2018年。 1，2，6，70[15] Justin Johnson，Alexandre Alahi和LiFei-Fei。用于实时风格转换和超分辨率的感知损失。在欧洲计算机视觉会议上，页码694-711。Springer，2016年。 2，40[16] Rei Kawakami，Katsushi Ikeuchi和Robby TTan。在室外场景中为大型物体进行一致的表面颜色纹理。在第十届IEEE国际计算机视觉会议（ICCV'05）第1卷，第2卷，页码1200-1207。IEEE，2005年。 10[17] Salman H