深度对抗分解：分离重叠图像的统一框架

12806深度对抗分解：一种分离重叠图像的统一框架邹正霞1*，雷森2，施田阳3，石振伟2，叶杰平1，41密歇根大学安娜堡分校2北京航空航天大学，3网易福喜AI实验室，4滴滴出行{zzhengxi，jpye}@ umich.edu，{senlei，shizhenwei}@ buaa.edu.cn，shitianyang@corp.netease.com摘要从单个混合图像中分离各个图像层长期以来一直是一项重要但具有挑战性的任务。我们提出了一个统一的框架命名为我们的方法在对抗训练范式下处理线性和非线性混合物。考虑到层分离的模糊性，给定一个单一的混合输入，可能有无限多个可能的解决方案，我们引入了一个我们还引入了一个实验结果表明，我们的方法显着优于其他流行的图像分离框架。在没有特定调整的情况下，我们的方法在多个计算机视觉任务上实现了最先进的结果，包括图像去噪、照片反射去除和图像阴影去除。1. 介绍在计算机视觉领域，许多任务可以被认为是图像层混合/分离问题。例如，当我们在雨天拍照时，所获得的图像可以被视为两层的混合物：一个雨条纹层和一个干净的背景层。当我们透过透明玻璃看时，我们看到的是玻璃外的景象和玻璃反射的景象的混合体。分离重叠图像与一个单一的观察一直是一个重要的，但具有挑战性的任务。 一方面，它形成了大量现实世界应用的基础，包括透明度分离，阴影去除，去重化等。另一方面，它本质上是一个大规模不适定问题，其中困难* 通讯作者：Zhengxia Zou（zzhengxi@umich.edu）不仅在于没有混合函数，而且还在于缺乏对输出空间的约束。在最近的文献中，尽管上述任务之间存在很强的相关性，但大多数任务都是单独研究的[8，23，48，54，59，60]。在本文中，我们提出了一个新的框架，如图1所示，在一个统一的框架下处理所有上述任务的单一叠加图像分离。学习一先验用于图像分解。给定单个叠加图像，由于我们对输出空间没有额外的约束，因此可能存在无限多的可能分解。以前的作品往往integrate精心制作的先验应用额外的约束，他们的分离输出。例如，在最近的文献[17，67]中，研究人员引入了“梯度排他性”[67]和“内部自相似性”[17]，其中前一个强调要在其梯度域中分离的层的独立性，后一种假设每个单独层内的小块的分布应该比原始混合层中的小块的分布“更简单”（更均匀）。然而，这些手工制作的先验可能会引入意想不到的偏差，从而在复杂的混合条件下失败。在本文中，我们研究了一个相互关联的问题：一个好的先验能从数据中学习到吗？为了回答这个问题，我们通过利用生成对抗网络的最近成功，从完全不同的角度重新审视先验[19，28，47]。我们引入了一个因此，通过在对抗性训练范式下愚弄批评者，可以逐渐加强层次分离。交叉口损失函数。除了CriticDC之外，我们还引入了层分离器G并训练它以最小化分离的输出和地面真实参考之间的距离。然而，标准的l1或l2损失不适用于我们的任务，因为G可能预测无序输出。因此，我们引入了一个就这样，火车-12807图1：我们提出了一个统一的框架，用于对抗训练范式下的单个混合图像分离。我们的方法可以应用于各种现实世界的任务，包括图像去噪，照片反射去除，图像阴影去除等。可以通过逐像素的监督来很好地指导。面对非线性混合和退化。 在一些现实世界的图像分离任务中，图像的混合通常超出线性。例如，反射图像的形成可能不仅取决于相机与图像平面的相对位置，还取决于照明条件[59]。此外，降解（例如，过度曝光和噪声）可能进一步增加分离的难度。在这些条件下，可能需要在算法中注入“想象力”来恢复退化数据的隐藏结构。受最近的图像平移方法[28]的启发 ， 我 们 进 一 步 引 入 了 两 个 马 尔 可 夫 鉴 别 器（PatchGAN）来提高输出的感知质量。实验结果表明，我们的方法明显优于其他流行的图像分离框架[17，35]。我们将我们的方法应用于各种计算机视觉任务。在没有特别调整的情况下，我们在三个不同任务的九个数据集上实现了最先进的结果，包括图像去噪、照片反射去除和图像阴影去除。据我们所知，这是解决这些问题的第一个统一框架，因为这些任务的大多数以前的解决方案都是单独调查和设计的。2. 相关工作叠加图像分离。 在信号处理中，与我们的论文类似的主题是盲源分离（BSS）[5，14-16，27]，其目的是从一组混合信号中分离源信号。该课题的研究可以追溯到20世纪90年代[26]，其中独立成分分析（ICA）[27]是一个代表当时的方法。估计ICA模型的关键是中心极限定理，即，在某些条件下，两个图像之和的分布趋向于高斯分布因此，已经引入了一些基于几何学的标准来测量图像的独立性峰度和负熵。BSS和我们的任务之间的主要区别在于，前者通常需要多个混合输入[14我们专注于后一种情况，因为多个混合输入或用户交互在实践中并不总是可用的。最近，Gandelsmanet al.提出了一种基于深度学习的方法，称为Double-DIP [17]，可以在特定条件下通过单次观察分离叠加图像然而，他们的方法只能处理具有规则混合模式的输入。相关应用。许多现实世界的任务可以被视为叠加图像分离的特殊情况：1) 单个图像去重。一个下雨的图像可以简单地看作是一个干净的背景图像和雨条纹的叠加。一些早期的去噪方法是基于低秩约束[4，41，42，71]和稀疏编码方法[20，29，43，57]设计的，其中雨纹被认为是高频噪声。 然而，这些方法通常会导致过度平滑的结果。最近的去重方法通常将去重公式化为基于深度学习的2) 反射消除。早期的反射消除方法通常需要额外的输入图像[35]和手工制作的先验估计反射层。这些前科包括12808图2：我们的方法概述。我们的方法包括一个分离器G和几个鉴别器。在“十字路口l 1“损失下训练的G旨在将单个混合输入分解为两个单独的为了确定分离是否好，我们引入了一个我们进一步使用两个马尔可夫鉴别器（DM1，DM2），以提高输出的感知质量。平滑先验[40，51]，梯度稀疏约束[2，36，37]，重影提示[51]等。在最近的方法中，先验通常通过数据驱动方法[9，44，53，60]和对抗训练/合成[59，67]来探索，这些方法可以更好地处理更复杂的反射。3) 消除阴影为了消除阴影，一些早期的作品设计了基于光照不变假设的物理模型[10，11]。后来，提出了更多基于手工制作特征的方法[1，21，25，32，52，66，69]。与去噪声和反射去除类似，最近对阴影去除的研究也建议使用深度学习或对抗训练技术，这带来了额外的改进，特别是在复杂的照明条件下[8，24，30，33，46，50，54，68]。生成对抗网络（GAN）。GAN近年来受到了极大的关注，并在各种计算机视觉任务中取得了令人印象深刻的成果，例如，图像生成[7，47]、图像风格转换[28，70]、图像超分辨率[34]等。典型的GAN[19]由两个神经网络组成：发生器G和鉴别器D。GAN成功的关键在极大极小双人博弈中互相测试，3.1. Crossroadl1损失函数设x∈1，x∈2表示两个独立的图像，y=f（x∈1，x∈2）表示它们的混合。 我们假设运算f（·）是未知的，并且可以是线性或非线性混合函数。给定一个混合输入y，我们的分离器旨在预测两个单独的输出x1和x2：x1，x2=G（y），（1）其记录了两个原始图像x∈1和x∈2。我们训练分离器G以最小化其输出（x1，x2）与其地面真值（x1，x2）之间的距离。注意，由于我们不能指定典型图像分解问题（特别是当x∈1和x∈2来自相同的图像域时），标准的逐像素L1或L2损失函数不适用于我们的任务。这个问题的解决方案是引入新的损失函数，可以处理无序输出。因此，我们提出了一个新的损失函数，称为背后的主要思想是通过交换输出的顺序来交叉计算距离，然后将其最小值作为最终响应：lcross（（x1，x2），（x<$1，x<$2））原则上，迫使生成的数据与真实数据不可区分。最近，GAN也被...=min{d 一，一+d2，2、d1、2+d2，1（二）}应用于一些图像分离任务，以提高恢复图像的感知质量，包括图像去噪[38，65]，图像反射去除[44，59，67]和图像去阴影[8，24，33，54]。3. 方法我们将模型的训练框架为在对抗性损失的帮助下的逐像素我们的方法包括一个图像分离器G，一个分离的批评DC和两个马尔可夫鉴别DM1和DM2。图2显示了我们方法的概述其中di，j=1，i，j∈{1，2}。我们使用标准l1在di，j中起作用，而不是l2，因为它鼓励较少的模糊效应因此，G可以被训练来最小化整个数据集上的损失L交叉Lcross（G）=Exipi（xi）{lcross（（x1，x2），（x1，x2））}，（3）其中pi（x∈i）表示图像数据的分布，并且i∈ {1，2}。3.2. 分离临界点考虑到层的模糊性，而不是应用任何手工制作的[67]或基于几何学的约束[27]来12809增强其对混合图像的辨别能力：x′=αx+（1−α）x，x′=（1−α）x<$+αx<$。 （五）11 221 2图3：我们比较了图像分离的不同分解先验，包括“排除损失”[17，67]，“峰度”[27]和提出的“分离-临界”。对于三个度量中的任一个，较低的分数指示较重的混合物。在子图（a）中，我们绘制了给定一组混合输入的三个度量的响应，这些混合输入是基于等式（1）合成的。（五）、显然，如果度量足够好，响应应该随着α的增加而单调递减。我们还测试了其他非线性损坏，包括（b）过度曝光，（c）随机伽马校正和（d）随机色调变换。建议的Critic在所有条件下都具有更好的鲁棒性。我们的输出空间，我们通过对抗训练过程学习分解先验因此，我们引入了一个“分离-批评”DC，它被训练来区分输出（x 1，x 2）和一对干净的图像（x 1，x2），并且与两个输入的顺序无关。在DC的输入端，我们简单地将两个图像在信道维度上连接在一起，以模拟它们的联合概率分布。G和DC的对抗训练本质上是一个极大极小优化过程，其中G试图最小化这个目标，而DC试图最大化它：G= arg minGmaxDCLcritic（G，DC）。图3、我们给出了四个例子来说明这种方法的效果。我们的批评家我们将经过良好训练的DC与两种流行的图像分离度量进行比较，1）排除损失[17，67]和2）峰度[27]，其中前一个强制分离图像梯度域上的两个图像，后一个广泛用于BSS中，用于测量图像的独立性（非高斯性）覆盖信号：峰度（u）=E{u4} −3（E{y2}）2。对于这三个指标中的任何一个，分数越低表示越高。混合度1。我们通过使用Eq. (5)不同的α显然，如果一个度量足够好，曲线应该随着α的增加而单调递减。图3（a）示出了对上述三个度量的响应。我们进一步在混合图像上添加一些额外的非线性损坏，包括（b）随机过曝光，（c）随机伽马校正，以及（d）随机色调变换。我们可以看到我们的Critic表现出更好的鲁棒性，特别是对于非线性退化。3.3. 提高感知质量为了提高分解后图像的感知质量，我们还引入了另外两个条件判别器DM1和DM2来增强高频细节。我们遵循Isolaet al. [28]建造DM1和DM2，两个局部感知网络-仅在补丁规模上惩罚结构（也称为马尔可夫判别器或“PatchGAN”）。 DM1和 DM2试图将如果图像中每个N×N块是干净图像（真实），或者假的（假的）。 这种类型的架构可以等效地通过构建具有N×N感知场的全卷积网络来实现，这在计算上更有效，因为所有补丁的响应可以通过仅进行一次前向传播来获得我们将DM1和DM2的目标表述如下：LMi （G ， DMi ）=E （ x_i ， y ） _p （ x_i ， y ） {logDMi（x_i）|y）}我们将其目标函数表示为：我我我（六）Lcritic（G，DC）=Exipi（xi）{logDC（x1，x2）}+Exipi（xi）{log（1−DC（x1，x2））}+Exipi（xi）{lo g（1−DC（mix（x1，x2）}.（四）+E（xi，y）pi（xi，y）{lo g（1−DMi（xi|y））}，其中i=1，2。我们的最终目标函数定义如下：L（G，DC，DMi）= Lcross（G）+βC Lcritic（G，DC）注意，当用假样本训练DC时，除了分解的输出（x1，x2），我们还合成了+βM Σ李密i=1，2（G，DMi）（7）12810通过混合两个干净图像来调整一组（x′，x′）=mix（x<$1，x<$2），具有随机线性权重α到1为了确保三个度量的单调一致性，我们在计算排除损失和峰度时绘制1 212811狗+Flwrs。LSUN双DIP [17]（CVPR14.70 /0.66113.83 /0.590Levin等人[35]（TPAMI'07）10.54 /0.44410.46 /0.366我们的方法（TR。（ImageNet）23.32/0.80321.63/0.773我们的方法（w/ default tr.集）25.51/0.84926.32/0.883图4：我们的方法和两种图像分离方法之间的比较：双DIP [17]和Levin等人提出的用户辅助框架。[35]第35段。查看我们的补充材料，了解更多分离结果。其中βC>0和βM>0控制物镜的不同组件之间的平衡我们的目标是解决：表 1 ： 不 同 方 法 对 混 合 图 像 分 离 的 比 较（ PSNR/SSIM ） ： 1 ） Stanford-Dogs [31]+ VGG-Flowers [45] ， 2 ） LSUN Classroom + LSUN Church[63]。为了测试我们方法的跨域泛化能力，我们还在ImageNet上进行了训练，并在上述数据集上进行了测试。分数越高表示越好。4.1.分离重叠图像我们在两组众所周知的数据集上评估我们的方法：[45]第二，在中国的发展中，中国经济的发展中，中国经济的发展中，中国经济的发展中，中国经济的发展中。在训练阶段，我们从一组数据集中随机选择两个图像（x=1，x=2），然后将它们线性混合为y=αx<$1+（1-α）x<$2，其中随机线性混合因子α在[0. 四，零。6]。在测试过程中，我们将混合因子设置为常数α=0。五、所有图像的大小调整为256x256像素。我们遵循数据集在执行训练和评估时，最终训练/测试分离对于LSUN数据集，由于其大量的图像，我们只训练了20个epoch。G= arg minGMaxDC，DMiL（G，DC，DMi），i=1，2。（八）我们比较了我们的方法与其他两种流行的方法为单一的混合图像分离：双DIP因此，网络G、DC和DMi可以在端到端训练过程中交替地更新。3.4.实现细节在设计分离器G的架构时，我们遵循“UNet”[49]的配置我们将DC、DM1和DM2构建为具有4、3和3个卷积层的三个标准FCN。 DM1和DM1的感知场设置为N=30。我们将DC的输入调整为相对较小的大小，例如，64×64，捕捉整个图像的语义，而不是添加更多的层。我们不使用在G中进行批量归一化，因为它可能会引入意想不到的伪影。 作为我们的默认设置，我们使用Adam优化器训练我们的模型200个epochs，其中batch size=2，learning rate=0。0001 对于前10个历元，我们设置βC=βM=0，并设置βC=βM=0。001对于其余的时期。有关更多实施细节，请参阅我们的补充材料。4. 实验分析我们评估我们的方法在四个任务：1）叠加图像分离，2）图像deraining，3）图像反射去除，和4）图像阴影去除。12812（CVPR'19）[17]和Levin的方法（TPAMI'07）[35]，其中前者是基于无监督深度学习的方法，后者是基于图像统计设计的，需要额外的用户交互。图4显示了上述三种方法的两个典型结果。表1显示了他们的定量评价2。我们使用峰值信噪比（PSNR）和结构相似性（SSIM）指数[58]作为两个基本评估指标。准确度在输出和它们的参考之间交叉计算我们将两个分数中最好的一个记录为最终准确度。我们的方法显着优于其他两种方法的视觉质量和定量分数。由于Double-DIP和Levin通过在ImageNet-1 M上训练我们的方法的跨域泛化能力（1.28M图像，随机混合在1 K类上，具有6个训练时期）[6]并在上述数据集上进行测试请注意，这一次我们没有专门在他们自己的训练集上训练，我们的方法再次显示了超级。优于其他两种方法。2由于Levin12813图5：使用标准l1损失和建议的交叉l1损失的图像分离结果的比较表4：两个数据集上不同去噪方法的比较（PSNR /SSIM）：[62]第100话：[65]结果报告人：[62]，[39]，[23]，[48].[第64话]DDN1k [13][41]22.75 /0.83520.66 /0.811[62]第6224.32 /0.86222.26 /0.841图6：基于不同免疫的结果比较DDN [13]（CVPR27.33 /0.89825.63 /0.885年龄分离先验：张JBO [71]（ICCV23.05 /0.85222.45 /0.836[27]和分离的批评者（我们的）。[67]27.95 /0.90926.07/0.909SPAN et [55]（CVPR30.05/0.934- /-消融PSNR SSIM PI我们的方法31.67/0.942 27.91/0.893我们的（包括标准l1损失）16.26 0.6768 23.34我们的（有交叉l1损失）22.74 0.7782 21.92表2：Stanford-Dogs数据集上标准l1损失和建议的交叉l1PSNR/SSIM：分数越高表示越好。PI：分数越低表示越好。消融PSNRSSIMPi仅交叉l117.340.669322.41cross-l1+ Zhang17.770.684023.09cross-l1+峰度[27]18.020.714122.28cross-11+ Sep-Critic18.290.723122.16cross-11+ Sep-Critic + adv-ppt.18.270.693821.97表3：在Stanford-Dogs [31]+ VGG-Flowers [45]数据集（ 具 有 过 度 扩 展 和 噪 声 ） 上 使 用 不 同 先 验PSNR/SSIM：分数越高表示越好。PI：分数越低表示越好。4.2. 受控实验交叉口l1损失分析。为了评估我们的十字路口l1损失的重要性，我们将其替换为标准l1，同时保持其他设置不变。我们在Stanford-Dogs上训练上述两个模型[31]。表2显示了两种模型的评估结果，图2显示了两种模型的评估结果。5显示了一组视觉比较。我们可以看到我们的方法清楚地分离了两个图像，而标准的l1无法做到这一点，并鼓励对抗性损失分析。 我们比较我们表5：不同去噪方法的比较（PSNR / SSIM）。所有方法都在DID [64]的训练集上进行训练，然后在DID和DDN1k [13]的测试集上进行测试结果报告人：[64]，#[55]。方法在Stanford- Dogs [31] + VGG-Flowers [45]数据集上具有不同的分解先验。除了线性混合输入外，我们还应用过扩展和噪声来增加分离的难度。为了更好地评估感知质量，我们引入了另一个称为感知指数（PI）的度量[3]。PI最初是作为一种基于低级图像统计的无参考图像质量评估方法引入的，最近被广泛用于评估超分辨率结果[3，56]。在图6和表3中，我们将对抗损失与排除损失[17，67]和峰度[27]进行了比较。正如我们所看到的，我们的对抗性损失的整合在输出质量上产生了显著的改进。我们发现，排斥损失鼓励模糊输出，很难平衡它与其他损失。我们还发现峰度可能会在其输出上引入轻微的颜色偏移。4.3. 应用：脱轨我们在几个数据集上进行了deraining实验：10000年，他在《易经》中，以《易经》为题，以《易经》为题。为了更好地测试我们的方法的泛化能力，我们遵循Zhanget al. [64]在DID [64]上训练我们的方法，然后从数据集中随机抽取1,000张图像[13]作为另一个测试集，表示为DDN 1 k。给定一幅下雨的输入图像，我们使用它的干净背景和雨条纹Rain 100H[62][65]第六十五话[41]15.05 /0.42520.46 /0.730[13]第十三话22.26 /0.69321.16 /0.732[62]第6223.45 /0.74922.29 /0.792RESCAN [39]（ECCV26.45 / 0.84624.09/0.841[64]25点/0.754点- /-DAF-Net [23]（CVPR28.44 /0.874- /-PReNet [48]（CVPR29.46/0.899- /-我们的方法30.85/0.93224.49/0.88512814图7：PReNet [48]（CVPR'19）和我们的方法在Rain100H [62]数据集上的结果我们的方法比PReNet鼓励更少的工件。此外，雨条纹图可以很好地估计使用我们的方法。作为比较，PReNet忽略了这部分输出。[59]第五十九章：你是谁方法整套重点散焦集重影集方法数据集[60]CEILNet [9]（ICCV19.524 /0.74220.122 /0.73519.685 /0.753李·布朗[40]（CVPR16.46 /0.745Zhang等人[67]（ICCV17.090 /0.71218.108 /0.75817.882 /0.738SIRP [2]（CVPR19.18 /0.760BDN [60]（ECCV14.258 /0.63214.053 /0.63914.786 /0.660CEILNet [9]（ICCV19.80 /0.782RmNet [59]（CVPR21.064 /0.77022.896 /0.84021.008 /0.780BDN [60]（ECCV23.11 /0.835我们的方法22.809/0.87123.195/0.89123.266/0.881我们的方法23.18/0.877表6：不同方法在两个挑战性数据集[59]和[60]上的反射去除结果（PSNR/SSIM） 在数据集[59]中，图像是用三种类型的反射非线性合成的：“聚焦”、“散焦”和“重影”。我们在所有实验项目中取得了最好的结果。结果报告人：[59]，[60].数据集[67]李·布朗[40]（CVPR18.29 /0.750CEILNet [9]（ICCV19.04 /0.762Zhang等人[67]（ICCV21.30 /0.821我们的方法22.36/0.846图8：我们的方法在一些真实雨图像上的结果[65]。第一行：输入。第二行：输出。地图作为我们的地面实况参考。由于Rain800和DID不提供雨纹图，因此在这两个数据集上训练时，我们只需将第二个输出的地面真值设置为 在下面的所有实验中，我们设置βC=βM=0。0001，并将分隔符G的输入/输出大小设置为512 x512像素。我 们 比 较 了 五 种 以 上 的 sota 去 除 方 法 ， 包 括RESCAN（ECCVSPAN et（CVPR'19）[55]等。表4和表5显示了这些方法的去噪结果。我们的方法在大多数条目中的性能优于其他sota方法。 图7示出表7：数据集上不同方法的反射去除结果（PSNR /SSIM）[67]。* 结果显示[67]。使用我们的方法和PReNet（CVPR'19）[48]从数据集Rain100H中提取的两个示例。我们的方法鼓励更少的工件。我们的方法的另一个优点是，雨条纹图也可以估计。作为比较，PReNet忽略了这部分输出。图8显示了我们在一些真实降雨图像上的一组去中心化结果。4.4. 适用范围：图像反射消除我们在两个大规模数据集上测试了我们的方法，以消除反射[59，60]。数据集[60]由超过50，000张图像组成，这些图像是通过混合透射层和反射层（线性混合+高斯模糊）合成的。数据集[59]由12，000张具有三种反射类型的图像组成：12815图9：不同反射消除方法的结果：BDN [60]（ECCV '18），RmNet[59]（CVPR'19）以及我们在数据集的真实世界反射图像上的方法[67]。图10：我们的方法在BDN数据集[60]。第一行：输入。第二行：输出。表8：ISTD [54]数据集和SRD [46]数据集上不同方法的阴影去除结果。我们遵循郭等人介绍的评价指标。（越低越好）。结果报告人：[54]，[22]，[8].图11：我们的方法和DSC [22]（TPAMI 19）在两个数据集上的结果：ISTD [54]（第1行），SRD [46]（第2行）。和当我们训练模型时，传输层被用作我们第一个输出的参考我们在第二个输出中丢弃我们比较了几种sota反射消除方法，包括张等人的方法。（ICCVNet（CVPR'19）[59]等。表6显示了这些方法的定量评价。 注意，虽然RmNet[59]在训练过程中使用辅助图像[53，67]，我们仍然在所有实验条目中获得最佳结果。我们还测试了一组真实世界的反射图像[67]。我们在合成训练集[67]上训练我们的模型，然后在其真实世界的测试集上进行评估。图9和表7显示了一些比较结果。4.5. 适用范围：阴影去除在这个实验中，我们在两个阴影去除数据集上测试我们的方法：[54][56][57][58][59]这两个数据集分别由1，870和3，088个阴影/无阴影图像对在现实世界中捕捉到的。我们将我们的方法与一些sota阴影去除方法进行了比较，包括DSC（TPAMI 19）[22]，ST-CGAN（CVPRARGAN（CVPR'19）[8].表8显示了这些方法的评价结果 。 我 们 没 有 在 SRD 上 比 较 ST-CGAN 和 ARGAN[46]，因为作者没有报告他们在该数据集上的准确性，并且代码尚未发布。我们遵循郭等人介绍的评价指标。[21]其中较低的分数表示较好的结果。图11给出了我们的方法和DSC [22]在上述两个数据集上的比较示例。5. 结论我们提出了一个统一的框架，单一的叠加图像分离-一组具有挑战性的任务，在计算机视觉和信号处理领域。与以往的统计或经验设计的方法在没有特定调整的情况下，我们的方法在多个任务上实现了最先进的结果，包括图像去噪、图像反射去除和图像阴影去除。在我们未来的工作中，我们将专注于一些更一般的图像分离任务（例如，在Ima-geNet上），并且还可以通过使用我们的方法分离语音信号。ISTD [54]SRD [46]Yang等[61]（TIP15.6322.57Guo等[21]（TPAMI9.30012.60Gong等[18]（BMVC8.5308.730[46]第46话：你是谁7.8306.640DSC [22]（TPAMI 19）7.1006.210ST-CGAN [54]（CVPR7.470-ARGAN [8]（CVPR6.680-我们的方法6.5665.82312816引用[1] 伊莱·阿贝尔和哈吉特·赫尔·奥尔使用强度表面和纹理锚点 去 除 阴 影 IEEE transactions on pattern analysis andmachine intelligence，33（6）：1202[2] Nikolaos 阿瓦尼托普洛斯Radhakrishna 阿昌塔，萨宾·萨斯特伦克单图像反射抑制。在IEEE计算机视觉和模式识别会议论文集，第4498-4506页[3] Yochai Blau ， Roey Mechrez ， Radu Timofte ， TomerMichaeli，和里希·泽尔尼克庄园2018年PIRM感知图像超分辨率挑战赛在欧洲计算机视觉会议（ECCV）的会议记录中，第0[4] 易畅，闫璐欣，盛重。转化为低-秩模型去除线图案噪声。在IEEE国际计算机视觉会议（ICCV）上，2017年10月[5]Andrzej Cichocki和Shun-ichi Amari。 自适应盲信号nal and image processing ： learning algorithms andapplications，volum1. John Wiley Sons，2002年。[6] Jia Deng，Wei Dong，Richard Socher，Li-Jia Li，KaiLi，还有李飞飞Imagenet：一个大规模的分层图像数据库。2009年IEEE计算机视觉和模式识别会议，第248-255页。Ieee，2009年。[7] Emily L Denton，Soumith Chintala，Rob Fergus，et al.深使用对抗网络的拉普拉斯金字塔生成图像模型神经信息处理系统的进展，第1486-1494页，2015年[8] 丁斌，龙承江，张玲，肖春霞。Argan：用于阴影检测和去除的注意递归生成对抗网络。在IEEE国际计算机视觉会议（ICCV）上，2019年10月。[9] 范庆南，杨娇龙，华刚，陈宝全，和大卫·威夫用于单个图像反射去除和图像平滑的通用深度架构。在IEEE国际计算机视觉会议（ICCV）上，2017年10月[10] Graham D Finlayson，Mark S Drew，and Cheng Lu.熵最小化以去除阴影。International Journal of ComputerVision，85（1）：35[11] Graham D Finlayson、Steven D Hordley、Cheng Lu和马克·S·德鲁关于去除图像中的阴影。IEEE模式分析与机器智能学报，28（1）：59[12] 傅学阳，黄家斌，丁兴浩，廖英豪，约翰·佩斯利清除天空：一种用于单图像雨消除的深层网络架构。IEEE Transactions on Image Processing，26（6）：2944[13] 傅学洋，黄家斌，曾德禄，黄越，兴浩丁和约翰·佩斯利通过深度细节网络从单个图像中去除雨水。在IEEE计算机视觉和模式识别会议论文集，第3855-3863页[14] 盖坤、石振伟、张长水。盲目的分离-对具有空间偏移的多层混合物进行在2008年IEEE计算机视觉和模式识别会议上，第1-8页IEEE，2008年。[15] 盖坤、石振伟、张长水。盲分离具有未知运动的叠加图像在2009年IEEE计算机视觉和模式识别会议上第1881-1888页。IEEE，2009年。[16] 盖坤、石振伟、张长水。利用图像统计的叠加运动图像的盲IEEE Transactions on Pattern Analysis and Machineintelligence，34（1）：19[17] Yosef 甘德尔斯曼 Assaf Shocher 和 米哈尔·伊拉尼“双底”：通过耦合深度图像先验的无监督图像分解。在IEEE计算机视觉和模式识别会议（CVPR）上，2019年6月[18] 韩功和达伦·科斯克。 交互式阴影消除和可变场景类别的地面实况。InBMVC，2014.[19] Ian Goodfellow，Jean Pouget-Abadie，Mehdi Mirza，BingXu ， David Warde-Farley ， Sherjil Ozair ， AaronCourville，and Yoshua Bengio.生成性对抗网。 在神经信息处理系统的进展，第2672[20] 古书航、梦德宇、左王梦、张磊。用于单个图像层分离的联合卷积分析和合成稀疏在IEEE国际计算机视觉会议（ICCV）上，2017年10月。[21] Ruiqi Guo，Qieyun Dai，and Derek Hoiem.配对区域阴影检测和去除。IEEE transactions on pattern analysis andmachine intelligence，35（12）：2956[22]X Hu，CW Fu，L Zhu，J Qin，and PA Heng. 方向感知用 于 阴 影 检 测 和 去 除 的 空 间 上 下 文 特 征 。 IEEETransactionsonpatternanalysisandmachineintelligence，2019。[23] Xiaowei Hu，Chi-Wing Fu，Lei Zhu，and Pheng-Ann Heng.用于单图像雨去除的深度注意特征。 在IEEE计算机视觉和模式识别会议（CVPR）上，2019年6月。[24] Xiaowei Hu，Yitong Jiang，Chi-Wing Fu，and Pheng-Ann衡面具-影根：学习从未配对的数据中移除阴影。在IEEE计算机视觉国际会议（ICCV），2019年10月。[25] 翔 黄先生， 刚 阿华 杰克 汤布林， 和兰斯威廉姆斯太阳和天空下的阴影边界的特征是什么？2011年国际计算机视觉会议，第898-905页IEEE，2011年。[26] Aapo Hyv¨rinen和Erkki Oja。一种快速定点算法独立成分分析。神经计算，9（7）：1483[27] AapoHyv ¨rinen和ErkkiOja。 独立分量分析：算法和应用。神经网络，13（4-5）：411[28] Phillip Isola，Jun-Yan Zhu，Tinghui Zhou，and Alexei A埃夫罗斯使用条件对抗网络的图像到图像翻译。在IEEE计算机视觉和模式识别会议论文集，第1125-1134页，2017年。[29] 康立伟，林嘉文，傅玉祥。自动-通过图像分解自动去除基于单图像的雨条纹。IEEETransactions on Image Processing，21（4）：1742[30] Salman H Khan，Mohammed Bennamoun，Ferdous Sohel，和罗伯托·托格内里自动阴影检测和removal从一个单一的 形 象 . IEEE transactions on pattern analysis andmachine intelligence，38（3）：43112817[31] Aditya Khosla，Nityananda Jayadevaprakash，Bang pengYao，and Fei-Fei Li.用于细粒度图像分类的新数据集：斯坦福的狗。在Proc. CVPR Workshop on Fine-GrainedVisual Categorization（FGVC），第2卷，2011中。[32] Jean-Fra nc oisLalonde，Alex eiAEfros，andSriniv asaG纳拉希姆汉户外消费者照片中地面阴影的检测。欧洲计算机视觉会议，第322-335页。施普林格，2010年。[33] Hieu Le和Dimitris Samaras。通过阴影图像分解在IEEE计算机视觉国际，2019年10月。[34] 克里斯·蒂安·莱迪格，卢卡斯·泰斯，费伦茨·胡斯·扎尔，何塞·卡瓦列罗，Andrew Cunningham ， Alejandro Acosta ， AndrewAitken，Alykhan Tejani，Johannes Totz，Zehan Wang，et al.使用生成式对抗网络的照片级真实感单幅图像超分辨率。在IEEE计算机视觉和模式识别会议论文集，第4681-4690页[35] Anat Levin和Yair Weiss。 用户辅助分离使 用 稀 疏 性 先 验 从 单 个 图 像 中 提 取 弯 曲 。 IEEETransactionsonPatternAnalysisandMachineIntelligence，29（9）：1647[36] Anat Levin，Assaf Zomet和Yair Weiss。 学习per-从自然场景的统计数据中获取透明度。神经信息处理系统的进展，第1271-1278页，2003年[37] Anat Levin，Assaf Zomet和Yair Weis