消除图像反射的深度学习方法

深度和双向观看：一种用于消除单幅图像反射的深度学习方法Jie Yang*，Dong Gong*，Lingqiao Liu，Qinfeng Shi†阿德莱德大学计算机科学学院@ adelaide.edu.auedgong01@gmail.com抽象。当通过玻璃面板拍摄照片时，反射通常会阻碍所需的场景。从照片中自动去除不需要的反射是非常可取的。传统的方法常常强加某些先验或假设来针对特定类型的反射，例如移位双反射，因此难以推广到其他类型。最近提出了一种深度学习方法。它学习一个深度神经网络，直接将反射污染图像映射到背景（目标）图像（即无反射图像）。 以端到端的方式，并且优于先前的方法。我们认为，要真正消除反射，我们应该估计反射和利用它 以估计背景图像。我们提出了一个级联深度神经网络，它可以估计背景图像和反射。这显著改善了反射去除。在级联深度网络中，我们使用估计的背景图像来估计反射，然后使用估计的反射来估计背景图像，从而促进了我们深入和双向观看的想法。1介绍当通过窗户或玻璃窗拍摄照片时，相机同一侧的场景反射通常会阻碍所需的场景并破坏照片。然而，由于时间和/或空间的限制，存在对图像反射去除的实际需求。为了处理图像反射，我们首先假设，在没有反射的阻碍下，我们可以拍摄清晰的图像B∈Rm×n，然后将反射污染的图像I∈Rm×n建模为B和反射层（称为反射）R∈Rm×n的线性组合[1]：I =α*B+（1−α） *（KR），（1）其中，真实尺度权重α ∈（0. 5，1）通常被假定为齐次常数[1注意，K也可以是增量函数（即，R上没有模糊），以表示B和R都对焦的情况。平等贡献†这项工作得到了澳大利亚研究委员会拨款DP140102270和DP160100703的支持2杨洁，龚东，刘灵桥，施庆丰(a) I（b）B（c）I（d）BFig. 1. 单个图像反射去除的示例。(a)和（c）是在前面拍摄的图像玻璃陈列柜的反射，这是退化。(b)和（d）是所提出的反射去除方法的恢复的背景图像。给定被反射R污染的图像I，反射去除旨在恢复清晰的背景图像B。这是一个挑战，因为它是高度不适定的[4]。因此，一些方法需要具有反射和/或背景变化的多个图像作为输入[1，5[4]以减少问题。然而，多个图像和可靠的用户指导通常不容易获得为了使反射去除实用，单幅图像反射去除受到越来越多的关注[3，9，10]。从单个观测I求解B通常需要一些先验或先验知识来区分反射和背景。例如，重影提示[9]用于从两个反射表面识别移位的双反射层的特殊图案。图像梯度的先验通常用于捕获不同层的不同属性[3，11]。这些方法假设反射K R由于失焦而高度依靠这一点，最近，一种基于深度学习的方法[10]已经提出了实现端到端的单图像反射去除，它利用强边缘来识别背景场景，并在具有高度模糊反射层的合成图像上进行训练这些方法在许多测试示例上都达到了最先进的性能。然而，它们在实践中也表现出一些局限性，例如过度平滑图像，不能处理反射没有强烈模糊或与背景具有相似亮度和结构的 在本文中，考虑到深度学习在图像恢复方面的成功[12 -15]，我们提出通过使用级联深度神经网络来解决单个图像反射去除。而不是训练一个网络来估计B单独从我，我们表明，估计不仅B，而且反射R（一个看似不必要的步骤），可以显着提高反射去除的质量。由于我们的网络被训练来重建反射表面两侧的场景（例如， 在级联中，我们使用B来估计R，并使用R来估计B，我们称我们的网络为双向网络（BDN）。2相关工作单图像反射去除是一个非常不适定的问题。以前的方法依赖于某些先验或附加信息来处理特定种类的场景。深度双向估计去除单幅图像反射3在一些情况下，背景层和反射层中的对象近似地在同一焦平面中。一些方法利用梯度稀疏先验来分解具有最小梯度的背景和反射以及诸如边缘和拐角的局部特征[16，17]。在其他情况下，当拍摄背景中的对象的照片时，从另一侧反射的对象由于到相机的不同距离而失焦李和布朗[3]利用相对平滑性，提出了一种概率模型来正则化两层的梯度 除了0梯度稀疏先验，Arvanitopoulos等人。[11]提出施加拉普拉斯数据保真度项以保留原始图像的精细细节。Wan [18]使用多尺度Depth of Filed图来指导边缘分类，并使用[4]中的方法进行之后的层重建。为了区分反射层与背景层，Shih等人[9]研究了重影线索，这是当玻璃具有一定厚度时的特定现象，并且在对自然图像建模以进行反射去除之前采用了基于补丁的GMM。一些最近的工作开始在反射去除问题中采用基于学习的方法。Fan等人[10]提出了一种基于深度学习的方法来从被反射污染的图像中恢复背景。与[3]类似，它也依赖于反射层由于失焦而更加模糊的假设，并且他们进一步认为，在一些现实世界的情况下，明亮的灯光对反射的生成有很大的他们提出了一种数据生成模型，通过对反射部分执行附加操作来模拟这些属性。他们提出了一个两阶段的框架，首先预测一个内在的边缘图，以指导背景的恢复。Zhang等人[19]使用深度神经网络结合感知损失，对抗损失和排除损失来利用低级和高级图像信息。Wan等人。 [20]提出将梯度推断和图像重建结合在一个统一的框架中。他们还采用感知损失来衡量特征空间中估计和地面实况之间的许多先前的工作使用多个观察图像作为用于恢复背景图像的附加信息。有些使用不同条件下的图像对，例如闪光灯/非闪光灯[21]，不同的焦点[22]。一些使用来自不同视点的图像，诸如视频帧[2，7，23，24，5，6，1，25]，到[2，7，23，24，5，6，1，25]。在多个取向[26，7，27]上的偏振器等。但在许多真实场景中，我们没有所需的多帧图像来去除反射。一些工作需要手动标记属于反射的边缘，以区分反射和背景[4]，这也不适合一般应用。3该方法专注于反射去除，我们试图学习一个神经网络，它能够从包含反射障碍的观察中恢复无反射图像。具体来说，我们的最终目标是学习映射函数F（·）来预测背景图像B^=来自观察图像I的F（I）。而不是只在图像上训练4杨洁，龚东，刘灵桥，施庆丰我BCRCB的g0G1HBBt=10LRL1Ladv图二、 概述我们提出的BDN网络架构和培训目标。分量C代表张量级联。对于（I，B）F（·）通过在三元组集合{（It，Bt，Rt）}N上训练。请注意，Rt训练，而不是测试。3.1双向估计模型为了以端到端的方式从给定的I直接估计B，直接的想法是让F（·）是将I作为输入并生成B作为输出的神经网络。 我们的方法还包括这样一个映射函数，我们称之为vanilla生成器G0（·）。同时，我们还引入了两个映射网络H（·）和G1（·）来估计反射图像和改进背景图像的估计。在以下部分中，我们将H和G1的组合称为双向单元，因为它们一起基于双向单元的输出提供对反射图像和背景图像两者的估计。香草生成器所提出的网络的总体结构如图所示3.第三章。香草生成器香草生成器将观察I作为输入，并生成背景图像B0，即B0=G0（I），这是后续双向单元的输入。双向单元如图所示。如图3所示，双向单元由两个部件组成，一个用于预测反射图像，另一个用于预测背景图像。双向中的第一分量H（·）根据观察I估计反射图像R并且根据G 0估计背景估计B0，即 R =H（B0，I）。然后，另一个背景估计器G1（·）利用R的估计和原始观测值的信息对背景估计进行改进I.因此，通过下式计算背景图像的最终估计：B≡G1（H（B0，I），I）.（二）使用上述双向估计模型的动机是反射图像和背景图像的估计的相互依赖性。直观地，如果提供反射图像的良好估计，则将更容易估计背景图像，反之亦然。此外，包括恢复反射图像的目的提供了额外的监督信号来训练网络。L深度双向估计去除单幅图像反射5t=1图三. G、H和G1的网络结构。C代表张量连接。双向预测模型 基于G0（·），H（·）和G1（·），我们可以将整个双向预测模型公式化为：B≡G1（H（G0（I），I），I），（3）其仅将观察I作为输入。在等式中示出的模型（3）通过G0（·）、H（·）和G1（·）的合成来逼近从观测I到背景图像B的映射函数F（·）。3.2G0（·）、H（·）和G1（·）的网络结构该BDN主要由三个子网G0（·）、H（·）和G1（·）组成。 我们使用U-网的一个变体[28，29]来实现G0（·），H（·）和G1（·）。 所有三个模块共享相同的网络结构（除了第一卷积层），但不共享相同的参数。 G0（·）有14层，而H（·）和G1（·）有10层。网络结构的结构如图所示。3.第三章。这里采用的U-网包含编码器部分和解码器部分。对于编码器网络，所有卷积层之后是BatchNorm层[30]和斜率为0的泄漏ReLU。2，除了第一个卷积，它没有Batch-Norm。对于解码器网络，步长为2的每个转置卷积用于以因子2对特征图进行上采样。输出通道后接Tanh函数。所有卷积之后都是BachNorm层和LeakyReLU激活。的所有卷积和转置卷积层中的滤波器的核大小固定为4×4。跳过连接将每个通道从第i层连接到第n−i层，其中n是层数。跳过连接组合来自不同层的信息，特别是允许在输入和输出之间共享低级信息跳过连接的使用使解码器网络中的输入通道的数量加倍。 H（·）和G1（·）的输入是两个图像。我们简单地连接这两个图像，使输入具有6个通道而不是3个颜色通道。4网络训练4.1培养目标我们的网络的目标是在给定训练的情况下学习从I到B的映射函数samples{（It，Bt，Rt）}N.…………CC输入卷积Leaky ReLU卷积Batch NormLeaky ReLU卷积Batch NormLeaky ReLU卷积ReLU转置卷积Batch NormReLU转置卷积Batch NormReLU转置卷积Tanh输出6杨洁，龚东，刘灵桥，施庆丰BBN2BB我们的模型由三个映射操作组成：G0：I→B，H：（I，B）→R和G1：（I，R）→B.上述映射操作中的每一个导致用于比较估计和地面实况结果的兼容性的损失。在这项工作中，我们考虑最小化依赖于β2损失和对抗性损失的估计和基本事实之间的差异。(1) 2-损失2-loss被广泛用于测量估计的im-之间的欧氏距离。年龄和地面真实图像。最小化2损失有利于小均方误差（MSE）。由于我们有来自网络中的三个子网络的三个估计，因此定义了三个相应的损失项，并且三个损失项的总和将用于训练网络：哪里L=L0+LR +L1、（4）0=Σ||G0（It）−Bt||第二条，第（五）项t=1NLR = Σ||H（It，B）− Rt||第二条第六款t=1N1= Σ||G1（It，R）− Bt||二、（七）t=1在（6）和（7）中，B和R可以是地面真值Bt或Rt或来自先前块的估计，这取决于训练中的设置（参见第4.2节）。(2) 对抗性损失2-loss仅计算两个图像之间的像素差异，这可能不反映两个图像之间的感知差异。最近，有越来越多的作品[29，31，12，32，33]应用对抗性损失[34]来提供用于训练图像映射网络的额外监督。对抗损失最初是在生成对抗网络中提出的[34]。想法是迭代地训练鉴别器以将地面实况图像与由生成器在某个训练阶段生成的图像区分开然后，目标变成鼓励生成器生成可以混淆当前鉴别器的图像。当将这种对抗性损失应用于图像处理（映射）时，我们将观察映射到期望输出的映射函数视为生成器。对抗性损失中的鉴别器隐含地倾斜自然图像的分布，作为图像先验。通过应用对抗性损失，隐式图像先验作为恢复遵循自然图像分布的图像的指导为了简化训练过程，我们只将这种对抗性损失应用于最后一次估计背景图像，即G1的输出。形式上，生成函数被定义为F（I）=G1（H（B0，I）），并且通过优化以下目标来训练CJDN NLD=ΣlogD（Bt）+Σlog（1− D（F（It），（8）t=1t =1LL深度双向估计去除单幅图像反射7Nt=1对抗性损失定义为Ladv=−logD（F（It））（9）t=1最后，我们将2损失和对抗性损失相加作为最终目标：L=L2+λLadv，（10）其中λ是控制两个对象的相对重要性的超参数。4.2培训战略我们提出的网络有三个级联模块，香草生成器，反射估计和细化的背景估计。这些组件可以单独或联合训练。在工作中，我们探索了三种开展培训的方式– 最直接的方法是从头开始训练整个网络的端到端– 每个模块也可以独立训练具体来说，我们可以逐步训练每个组件，直到收敛，然后将其输出堆叠到下一个组件。作为输入。我们称这种训练策略为贪婪训练。– 我们也可以先逐步训练每个子网络，然后对整个网络进行微调，这被称为在第5.1节中，我们将对这些培训策略进行比较和分析4.3执行训练数据生成我们使用Eq. (1)以模拟具有反射的图像。 为了合成一张图像，我们从数据集中采样两张自然图像，并将图像随机裁剪成256 × 256块。一个面片用作背景B，另一个用作反射R。将标准偏差σ∈[0，2]的高斯模糊核应用于反射片上，以模拟现实中可能出现在反射层上的散焦模糊使用尺度权重α∈[0。6，0。[8]。生成的数据集包含{（It，Bt，Rt）}N的三元组。我们使用来自PASCAL VOC数据集[35]的图像来生成我们的合成数据。的数据集包含各种场景中的自然图像，并且适合于表示可能发生反射的场景。我们从PASCAL VOC数据集的训练集中生成50K训练图像，该数据集包含5717张图像。与[10]相比，这是我们所知的唯一可用的基于学习的方法它减去一个自适应计算的值，然后裁剪，以避免亮度溢出时，混合两个图像。我们在数据合成中使用与[10]相同的设置这些图像也来自PASCAL VOC数据集，并以224×224裁剪。训练数据由7643张图像生成，测试集由850张图像生成8杨洁，龚东，刘灵桥，施庆丰我们使用我们的训练数据和[10]的方法生成的训练数据来训练我们的网络和我们使用PyTorch实现我们的模型，并使用Adam优化器[36]使用默认参数β1=0训练模型。9，β2=0。999，并且初始学习率被设置为0。001。使用[37]中的方法初始化权重。该代码可在https://github.com/yangj1e/bdn-refremv上获得。5实验在本节中，我们首先介绍了我们的方法烧蚀的比较，以说明我们的设计决策的意义然后，我们定量和定性地评估我们的方法对以前的方法[3，11，10]的单图像反射去除，并展示了最先进的性能。对于数值分析，我们采用峰值信噪比（PSNR）和结构相似性指数（SSIM）[38]作为评估指标。5.1双向网络的消融研究对于消融研究，我们使用PASCAL VOC合成的数据集[35]验证集，其不包含训练集中出现的任何图像我们生成400个图像用于消融研究中的测试测试数据生成的设置4.3用于训练数据生成。为了分析反射去除相对于背景的标度权重的性能，该标度权重反映了背景和反射之间的相对强度，我们生成另一个更小的数据集。我们从0开始递增秤重。55比0 85，步长为0。05并为每个秤重量生成10个图像。模型结构分析为了验证我们的双向单元的重要性，我们比较了三种模型结构：香草生成器G0，香草生成器G0+反射估计器H，以及完全双向网络（即G0，H和G1的组合，以下称为G0+H+G1）。所有网络都是使用第2节中指定的设置从头开始训练的。4.3. 以来将双向单元添加到香草生成器将增加网络的深度和参数的数量，我们级联香草生成器的三个块以匹配我们的完整模型的深度和参数的数量。表1表明，仅仅训练一个vanilla生成器并不足以恢复无反射的im。年龄增加vanilla生成器的层数（见表1中的VanillaG0（deep））来增强模型的容量可以稍微提高性能但它的表现还是不如我们的完整模型在香草生成器中加入一个反射估计器，通过正则化重构和级联一个背景估计器形成一个双向单元，进一步提高了性能。图4示出了几个定性示例。可以观察到，添加背景估计器改善了反射层的估计结果，这反过来增强了背景的恢复。目标函数的消融研究在表1中，我们比较了我们的全部损失的消融。为了使用对抗性损失，我们需要训练一个鉴别器网络深度双向估计去除单幅图像反射9图4.第一章我们对模型结构的消融研究的视觉比较。从左到右依次为I、B（G0）、B（G0+H）、R（G0+H）、B（G0+H+G1）、R（G0+H+G1）。在屏幕上放大查看效果最佳。我们的模型我们采用[29]的70×70PatchGAN作为鉴别器，它仅在斑块尺度上对结构进行为了使用GAN训练网络，我们预先训练我们的BDN没有对抗性损失的第一次为2 epoch，然后使用预训练的网络初始化生成器。由于像PSNR这样的评估指标与MSE直接相关，因此与直接优化数值分析中的2五、图五、 我们对目标函数模型结构的消融研究的视觉比较。从左至右：I，B（无对抗性损失的BDN），R（无对抗性损失的BDN），B（有对抗性损失的BDN），R（有对抗性损失的BDN）。上面的图像是合成的，而下面的图像是真实的。在屏幕上放大查看效果最佳。培训策略分析我们比较了第4.2节中指定的三种培训策略。 逐步训练每个模块，然后将它们堆叠在一起，即 BDN10杨洁，龚东，刘灵桥，施庆丰t=1^（贪婪训练+微调）导致性能差。原因是双向单元中的反射估计器和背景估计器需要协调，例如，如果我们使用地面真值对{（It，Bt）}N，但是当我们在vanilla生成器之后堆叠它时，这个模块的输入N变成{（It，Bt）}t=1。虽然从逐步训练的模块中进行微调-证明了性能和收敛速度，但它的性能不如端到端联合训练因为贪婪初始化更可能收敛到坏的局部最优。对于以下所有实验，我们从头开始训练我们的模型，即三个子网络联合训练。表1. 与我们的方法的消融以及与使用第4.3节中的方法生成的具有反射的500个合成图像上的最新方法的定量比较，最好的结果是粗体的。香草G0PSNR22.10SSIM0.811香草G0（深）22.16 0.817香草G0+H22.30 0.813贪婪训练20.82 0.792BDN（贪婪训练+微调）22.43 0.825BDN（联合训练，无对抗损失）23.06 0.833BDN23岁110的情况。835李和布朗[3]16.46 0.745Arvanitopoulos等人[第十一届]19.18 0.760Fan等人[10个国家]19.80 0.7825.2定量评价与现有技术的比较我们将我们的方法与Li和Brown [3]，Arvanitopoulos等人的现有技术的单幅图像反射方法进行定量比较。[11]和Fan et al. [10]使用合成数据集。表1中所示的数值结果表明，我们的方法优于现有技术。与基于学习的方法的比较我们特别与[10]进行了一些比较，因为[10]是迄今为止使用深度学习技术解决单个图像反射去除问题的唯一方法[10]和我们的方法都需要使用合成数据进行训练，但我们使用不同的数据合成机制。为了与[10]进行比较，我们使用我们的训练数据训练我们的模型和[10]，如第二节所述。4.3以及使用[10]中的算法生成的训练集。然后我们在相应的测试集上评估训练好的模型，结果如表所示。二、在[10]中的合成数据上进行训练，我们的模型在[10]中的测试集上实现了相当的性能，并且在我们的合成数据集上进行训练和测试时优于[10]。因为[10]明确地利用边缘信息并通过重新覆盖背景图像的固有边缘来去除反射，所以它更多地依赖于反射层是模糊的假设。因此，当在我们的数据集中进行训练时，深度双向估计去除单幅图像反射11李和布朗Arvanitopoulos等人Fan等人我们SSIM表2. 我们的方法和[10]的比较。两个模型都使用[10]的合成数据集进行训练和评估，最好的结果是粗体。数据集[10]我们的数据集PSNRSSIMPSNRSSIMBDN（我们的）20.820.83223.110.835Fan等人[10个国家]18.290.833420.030.79026 0.95二十四点九22 0.8520 0.818 0.75十六点七140.55 0.6 0.65 0.70.75 0.80.650.55 0.6 0.65 0.7 0.75 0.8(a) PSNR（b）SSIM见图6。PSNR和SSIM随背景尺度权重α变化的评估。模糊，并包含更一般形式的反射，[10]不像[10]中那样执行相比之下，我们的模型具有更强的直接从数据中学习的能力，并且处理不那么模糊的反射。基于学习的方法在合成数据上训练模型，这是由于缺乏真实的标记数据。由于我们选择不同的方法来生成训练数据，并且很难判断哪种数据合成方法最适合真实数据，因此我们使用SIR数据集[39]来评估我们的模型在具有反射的真实数据上的生成能力SIR数据集[39] 包含454个在各种捕获设置下拍摄的图像三元组，例如 玻璃厚度、孔径大小和曝光时间，以覆盖各种类型的反射。 该数据集包含三个场景：明信片、固体物体和野生场景。该数据集中的图像大小为540 ×400。表3. SIR基准数据集[39]上基于学习的方法的数值研究，最好的结果是粗体。明信片固体对象野生场景峰值信噪比SSIM峰值信噪比SSIM峰值信噪比 SSIM Fan等 [10]21.0829 0.829423.5324 0.8843 22.06180.8261BDN（我们的）20.40760.8548 22.70760.8627李和布朗Arvanitopoulos等人Fan等人我们峰值信噪比（dB）12杨洁，龚东，刘灵桥，施庆丰考虑到模型（1）中的权重α反映了反射水平的强度，为了研究所提出的方法对反射的敏感性，我们进行了实验以评估不同方法在具有不同α的图像上的性能。如图6、随着背景比重的减小，反射波与背景的分离越来越困难。实际上，当背景层和反射层具有相似的亮度和结构时，有时人类甚至很难将它们区分开。此外，请注意，α的范围超过了我们在数据合成中使用的范围，并且我们的方法在不同级别的尺度权重中具有鲁棒性。5.3定性评价我们使用从以前的作品[11，10，5]收集的真实图像和从互联网和野外场景收集的图像由于这些图像没有地面实况，我们只能进行视觉比较。与仅估计背景的方法的比较Arvanitopoulos等人[11]集中于抑制反射，即它们不恢复反射层。因此，我们只能在图7中示出与I和B的比较。可以看出，我们的方法更好地保留了背景中的细节，并且具有更少的伪影，而[11]倾向于过度平滑图像并丢失过多的信息细节。为例如，在云的图像中，我们的结果比[11]保留了更多的云的细节，并且在袋子的图像中，我们的结果看起来更真实。与分离两层的方法的比较我们将我们的方法与Li和Brown [3]以及Fan等人 [10]进行比较，这些方法生成反射层以及背景层。虽然我们的方法侧重于恢复背景，而不是分离两个层，我们的反射估计包含更有意义的-与以前的方法相比，通过双向观察形成。在我们的情况下，重建的反射层的质量有助于提高我们对背景的恢复。图8示出了定性比较结果。我们的方法优于国家的最先进的在恢复清晰的背景在现实场景中的障碍反射。与文献[10]相比，该方法更好地恢复了原始图像的颜色。因为一部分光线会被反射回背景的侧面，所以与没有玻璃直接观察相比，背景中的物体通常看起来很苍白。这反映在生成训练数据时的缩放操作中。在图9中，我们显示了故障情况的示例。这张图片来自[39]，是用两张明信片透过厚玻璃拍摄的。反射非常强烈并且包含重影伪影，而背景非常模糊，并且反射之间的相互作用具有非常复杂的结构。在这种情况下，没有一种方法能很好地工作。6结论本文研究了单幅图像的反射消除问题。受可以估计反射并使用它来增强背景估计的想法的启发，我们提出了一种具有级联结构的深度神经网络用于单幅图像深度双向估计去除单幅图像反射13见图7。与Arvanitopoulos等人 [11]的方法在真实图像上的比较。从左至右：I，B（[11]），B（Ours）. [11]往往过于平滑，我们的结果看起来更自然。在屏幕上放大查看效果最佳。这就是所谓的双向网络（BDN）。该算法具有较强的监控能力，能够有效地恢复背景图像大量的实验合成数据和现实世界的数据表明，所提出的方法在不同的情况下工作得很好。引用1. Xue，T.，Rubinstein，M.，刘，C.，弗里曼，W.T.：无障碍摄影的计算方法ACMTransactions on Graphics34（4）（2015）792. 塞利斯基河Avidan，S.，Anandan，P.：从包含以下内容的多个图像中提取图层反射和透明度。在：CVPR中。第一卷，IEEE（2000）2463. 李，Y.，Brown，M.S.：使用相对平滑度的单个图像层分离。In：CVPR，IEEE（2014）27524. Levin，A.，Weiss，Y.：使用稀疏先验从单个图像中分离反射的用户辅助。IEEETrans. on PAMI29（9）（2007）5. 李，Y.，Brown，M.S.：利用反射变化自动消除反射In：ICCV.（2013）24326. 郭，X.，曹，X.，Ma，Y.：从多个图像中稳健地分离反射。在：CVPR，IEEE（2014）21877. Sarel，B.，Irani，M.：通过层信息交换分离透明层。In：ECCV.（2004年）32814杨洁，龚东，刘灵桥，施庆丰见图8。比较我们的方法与国家的最先进的真实图像。从左至右：I，B（[3]），R（[3]），B（[10]），R（[10]），B（Ours），R（Ours）.我们的网络具有更清晰的背景估计和更好的颜色恢复。在屏幕上放大查看效果最佳。见图9。失败案例的一个例子。从左至右：I，B（[3]），B（[11]，B（[10]），B（Ours）8. Han，B.J.，Sim，J.Y.：使用低秩矩阵完成消除反射。在：CVPR中。第二卷IEEE（2017）9. Shih，Y.，Krishnan，D.，Durand，F.，弗里曼，W.T.：使用重影提示消除反射In：CVPR，IEEE（2015）3193深度双向估计去除单幅图像反射1510. 范，Q.，杨杰，Hua，G.，陈伯，Wipf，D.P.：用于单个图像反射去除和图像平滑的通用深度架构In：ICCV.（2017）3258-326711. Arv an i topoulos，N.，阿 昌塔河 Süsstrunk，S.： 单图像反射抑制。In：CVPR，IEEE（2017）175212. Led i g，C.， 泰斯湖 Hus za'r，F.，卡瓦列罗，J.，Cunningham，A. Acosta，A.Ait k en，A. P. Tejani，A.，托茨，J.，王志，等：使用生成对抗网络的照片逼真的单图像超分辨率。在：CVPR中。第二卷IEEE（2017）413. Gong，D.杨杰，刘，L.，张玉，里德岛Shen，C.，van den Hengel，A.，Shi，Q.：从运动模糊到运动流：深度学习解决方案，用于消除异构运动模糊。IEEE计算机视觉与模式识别会议（CVPR）（2017年）14. 毛泽东，Shen，C.，Yang，Y.B.：使用具有对称跳跃连接的非常深的卷积编码器-解码器网络的图像恢复。在：神经信息处理系统的进展。（2016）280215. Gong，D.张志，Shi，Q.，Hengel，A.v.d.，Shen，C.，张毅：学习图像去卷积的优化器arXiv预印本arXiv：1804.03368（2018）16. Levin，A.，Zomet，A.，Weiss，Y.：学习从自然场景的统计数据中感知透明度。在：NIPS。（2003年）127117. Levin，A.，Zomet，A.，Weiss，Y.：使用局部特征从单个图像分离反射。在：CVPR中。第一卷，IEEE（2004）30618. 万河，巴西-地施，B.，Hwee，T.A.，科特，A.C.：景深引导的反射去除。In：ICIP，IEEE（2016）2119. 张，X.，Ng，R.，Chen，Q.：具有感知损失的单个图像反射分离。In：CVPR，IEEE（2018）20. 万河，巴西-地施，B.，Duan，L.Y.，Tan，A.H.，科特，A.C.：Crrn：多尺度引导并发反射消除网络。In：CVPR，IEEE（2018）477721. 阿格拉瓦尔，A.，拉斯卡尔河Nayar，S.K.，李玉：使用梯度投影和闪光曝光采样消除摄影伪影ACM Transactions on Graphics24（3）（2005）828- 83522. Schechner，Y. Y.，Kiryati，N.，Basri，R.： 使用焦点分离透明层。IJCV39（1）（2000）2523. Gai，K.，施，Z.，Zhang，C.： 利用图像进行统计IEEE Trans. on PAMI34（1）（2012）1924. Sinha，S.N.，Kopf，J.，Goesele，M.，Scharstein，D.，Szeliski，R.： 基于图像的渲染，有倒影的场景。ACM Transactions on Graphics31（4）（2012）10025. 杨杰，Li，H.，戴，Y.，Tan，R.T.： 双层图像透明或反射。在：CVPR中。（2016）141026. Schechner，Y. Y.，Shamir，J.，Kiryati，N.：含半反射体场景的偏振和统计分析。JOSA A17（2）（2000）27627. Kong，N.，Tai Y.W. Shin，J.S.：基于物理的反射分离方法：从物理建模到约束优化。IEEE Trans.关于PAMI36（2）（2014）20928.Ronneberger，O.，Fischer，P.，Brox，T.：U-net：用于生物医学图像的卷积网络细分在：医学图像计算和计算机辅助干预国际会议，Springer（2015）23429. Isola，P.，Zhu，J.Y.，周，T.，Efros，A.A.：使用条件对抗网络的图像到图像翻译。In：CVPR，IEEE（2017）596730. Ioffe，S.，Szegedy，C.：批量归一化：通过减少内部协变量偏移来加速深度网络训练在：ICML。（2015）44831. Zhu，J.Y.，Park，T. Isola，P.，Efros，A.A.：使用循环一致对抗网络的不成对图像到图像翻译。In：ICCV，IEEE（2017）224232. 莱特里湖Vanhoey，K.，van Gool，L.：Darn：一个用于内在图像分解的深度对抗残差网络In：WACV，IEEE（2018）135916杨洁，龚东，刘灵桥，施庆丰33. Shrivastava，A.，Pfister，T.，Tuzel，O.，Susskind，J.，王伟，Webb，R.：通过对抗训练从模拟和无监督图像中学习。在：CVPR中。第二卷IEEE（2017）534. 古德费洛岛Pouget-Abadie，J.Mirza，M.，徐，B.，沃德-法利，D.，Ozair，S.，Courville，A. Bengio，Y.：生成性对抗网。在：神经信息处理系统的进展。（2014）267235. Everingham，M.凡古尔湖威廉姆斯，C.K.，Winn，J.，齐瑟曼，A.：pascal视觉对象类（voc）的挑战。IJCV88（2）（2010）30336. Kingma，D.Ba，J.：Adam：随机最佳化的方法arXiv预印本arXiv：1412.6980（2014）37. 他，K.，张，X.，Ren，S.，孙杰：深入研究整流器：在imagenet分类上超越人类水平的表现。In：ICCV.（2015）102638. 王志，Bovik，A.C.，Sheikh，H. R.，Simoncelli，E.P.：图像质量评价：从误差可见性到结构相似性。IEEE图像处理学报13（4）（2004）60039. 万河，巴西-地施，B.，Duan，L.Y.，Tan，A.H.，科特，A.C.： 对标单图像反射删除算法In：ICCV，IEEE（2017）3942