野外反射消除与偏振光：新建数据集、两阶段结构模型、感知NCC损失的应用

1野外完全对准消除偏振反射雷晨阳1黄旭华1张梦迪1闫琼2孙文秀2陈奇峰11HKUST2商汤科技摘要我们提出了一种新的配方，以消除在野外偏振图像的反射。我们首先识别现有反射去除数据集的未对准问题，其中由于玻璃折射，所收集的无反射图像与输入混合图像没有完全对准。然后，我们建立了一个新的数据集，其中包含100多种玻璃，其中获得的透射图像与输入的混合图像完美对齐。其次，利用反射与偏振光之间的特殊关系，提出了一种两阶段结构的偏振反射去除模型此外，我们设计了一种新的感知NCC损失，可以提高反射去除和一般图像分解任务的性能。我们进行了大量的实验，结果表明，我们的模型优于国家的最先进的方法反射，消除。1. 介绍通常需要去除玻璃反射，因为它可能会污染照片的视觉质量。反射分离对于机器人在现实世界中可靠地工作也是可以论证的重要的，因为反射中的内容通常不存在于相机的视锥中。反射的一个有趣的特性是反射光通常是偏振的，这可以促进反射的去除。在本文中，我们通过设计一个定制的深度学习框架来研究偏振传感器的反射消除。一个有反射的图像是反射和透射的混合，如图所示。1.一、在原始数据空间中，混合图像M可以被公式化为：M=T+R，（1）其中T和R分别是透射和反射我们将玻璃后面的光称为背景光B，将穿过玻璃的光称为透射光T。虽然大多数先前的工作将B视为与T相同[34，28]，但我们认为T和B是不同的。T比B暗，因为一些光被玻璃反射或吸收，并且由于折射，T和B图1.混合图像M.由于折射，背景B在通过玻璃后变暗和移动，形成透射T，导致B和T之间的强度差异和空间不对准。来自玻璃表面的反射R线性地添加到T以形成原始数据空间中的M因此，我们可以通过计算T=M−R来获得T。许多现有的反射消除方法[34，32，7，31，24]的一个共同问题是对反射施加了严格的假设。这些假设使得以前的方法在特殊情况下工作良好，但在许多其他情况下失败。例如，许多作品假设反射图像是离焦的[7，34]。因此，当反射尖锐且强烈时，这些方法可能不能适当地去除反射。另一个先前的假设是鬼线索[24]，这是由厚玻璃内的多次反射造成的。不过，在薄玻璃中并不存在幽灵线索。缺乏多样化和高质量的真实世界数据是另一个具有挑战性的问题。 Zhang等人[34]和Wei et[28]已经收集了一小组真实世界的数据，其中只有背景图像（图1）。1和图4）被捕获为地面实况传输图像。然而，由于折射，背景图像与混合图像M不完全对准，并且还具有强度衰减（T看起来比B暗）和颜色失真（有色玻璃）的问题错位在训练机器学习模型时带来了巨大的挑战[28]，而强度差异使其变得更加困难。此外，由于反射的类型取决于玻璃类型，并且只有一种类型的玻璃用于收集数据，因此在这些数据上训练的模型不能很好地推广到其他类型的玻璃。为了能够放松对表面的假设17501751为了避免反射，我们利用了几乎所有反射光中固有的偏振。图2示出了示例偏振图像。现有的作品基于极化往往强加严格的假设。一个常见的是所有光源都是非偏振的[3]，这在现实世界中很容易被违反，因为除了玻璃之外，反射发生在不同类型的表面上，并且通常存在偏振或部分偏振的光源，例如LED光。如可见于图2、玻璃内外均存在偏振现象。我们不能仅仅依靠这些信息。为了排除透射图像中也存在偏振的情况，本文的工作去掉了这一假设。因此，我们的方法更通用，适用于更多场景。为了保证真实世界数据的多样性和质量，我们提出了一种新的数据采集管道称为M-R的基础上，原始图像空间是线性的原则。我们仅捕获M和R，并通过T=M-R。 请注意，我们捕获原始传感器数据，以便Eq. 1保持。 我们的公式是物理上忠实的图像形成和简化数据收集的过程我们表明，与我们的新的M-R管道，它是很容易捕捉反射所造成的各种玻璃。我们使用M-R流水线来构建一个真实世界的偏振数据集，该数据集由一种新型的偏振传感器收集，用于消除反射与收集的数据集，我们提出了一个两阶段的框架，从偏振图像的反射去除。我们的方法首先估计的反射，它inferer的透射图像其次。我们的PNCC（perceptual NCC）的损失是用来最大限度地减少之间的输出反射和传输的相似性。实验表明，我们的方法在各种指标上都达到了最先进的性能。消融研究表明，我们的方法受益于极化数据，PNCC和两阶段框架设计。 我们的贡献是总结如下：• 我们观察到两个重要因素的任务反射消除：1）之间的差异传输T而背景B是明显的。2)从反射到混合图像的线性完全保持在原始数据上。• 我们设计了一个名为M-R的新数据收集管道，它可以帮助我们通过在现实世界中使用玻璃来收集各种真实世界的数据• 提出了一种基于偏振数据的深度学习反射波去除方法.我们的方法不强加任何假设的外观重新-屈曲为了获得更好的性能，采用了两阶段的框架。我们设计了一个PNCC损失，它可以应用于许多图像分解任务。实验结果表明，该方法优于现有的方法，具有更好的推广性。原始φ ρ图2.偏振信息的可视化。玻璃区内外均存在偏振现象。φ是偏振角度，并通过HSV空间中的色调可视化。ρ是偏振度，通过强度可视化。2. 相关工作消除单个图像反射。大多数单个图像反射消除方法[7，34，31，32]依赖于各种假设。考虑到图像梯度，Arvanitopou-los等人。[2]提出了抑制反射的思想，Yang et al.[32]提出一种基于凸优化的快速方法。这些方法不能消除尖锐的反射。在传播总是焦点的假设下，Punnappurath et al.[20]设计了一种基于双像素摄像头输入的方法。对于大多数基于深度学习的方法，训练数据对于良好的性能至关重要。CEILNet [7]，Zhanget al.[34]和BDN [31]，因为反射是失焦的，并合成图像来训练他们的神经网络。CEILNet [7]首先估计目标边缘，并将其用作预测传输层的指导。Zhang等人[34]使用知觉损失和对抗损失来捕捉反射和透射之间的差异。BDN [31]估计反射图像，然后用于估计透射层。这些方法[34，7，31]在反射比透射更散焦时工作良好，但在其他情况下失败 为了打破单纯使用合成数据的局限性，Zhang et al.[34] Wei et al.[28]收集真实世界的数据集进行培训。然而，它们的数据集存在不一致的问题，并且不包含足够的多样性。Wei等人[28]建议使用对小偏差不太敏感的高级特征来计算损耗。为了获得更真实和多样化的数据，Wen et al.[29]和Ma etal.[17]提出使用深度神经网络合成数据的方法，并实现更好的性能和泛化。虽然这些数据在外观上更吸引人，但物理真实性仍然是个疑问。基于偏振的反射消除。自几十年前以来，偏振就被认为是图像反射去除的有用方法[33，8]。Schechner等人[33] Bronstein et al.[4]利用独立分量分析来分离反射和透射图像。在非偏振光源的假设下，Kong et al.[14]提出了一种自动寻找反射层和透射层最佳分离的优化方法。Wieschollek等人[19]将深度学习与基于极化的1752RGB M ISP M-R Gamma M-R Raw M-R Pol M ISP M-R Raw M-RRGB R特写镜头特写镜头Pol R特写镜头图3. M-R在不同数据空间中的可视化。如果应用M-R 对于RGB数据，我们得到3种类型的M-R：（1）“ISP M-R”是指在ISP之后对图像进行M-R。(2)“Gamma M-R”是指使用M2。2−R2。2来模拟M和R的伽马解压缩，这是以前方法中常用的方式。(3) “Raw M-R”: do对于灰度偏振数据，我们采用伽马校正来模拟ISP，并与直接在原始数据上进行比较。反射消除法与以前的作品不同，他们消除了一些假设（例如，玻璃必须是完全平坦的），并提出了一种流水线来合成具有来自常规RGB图像的偏振信息的数据。然而，所有光源仍然被假定为非极化的。基于偏振的多图像反射消除方法是多图像方法中的一种特殊类型。Agrawal et.al [1]使用一对闪光/无闪光图像。许多作品[26，22，21，16，10，11，30]移动相机以利用反射和透射之间的相对运动来消除反射，而大多数作品假设反射层的运动大于透射层的运动。Sarel和Irani [21，22]假设反射和透射都应该是静态的。Li等人。[16]使用SIFT流来对齐图像，以在背景在混合图像中占主导地位的假设下进行逐像素比较Xue等人[30]还要求反射和透射中的对象大致是静态的。Han等人[11]要求透射比反射场景更占偏振信息我们使用PHX 050 S-P偏振相机，它配备了IMX 250 MZR CMOS。该传感器在一次拍摄中捕获具有四个不同偏振器角度的图像。每个偏振像素由2×2单元组成，具有对应于偏振角0°、45°、90°、135°的四个子像素。通过偏振器的光强度遵循Malus2019- 02 - 12 01：02：02（|φ−θ|）、（2）其中θ是偏振器的角度，φ是入射光的偏振角。请注意，与偏振相关的方程仅适用于与光强呈线性关系的原始数据，因此我们在数据集中采用RAW格式。每张RAW图像的分辨率为2048×2448。我们提取具有相同偏振角的子像素，形成一个图像，我们可以得到四个图像，分辨率为1024×1224。每个像素的取值范围是从0到4095。设I为光强度，Inp，Ip为非偏振光和线偏振光的强度偏振度ρ等于Ip/（Ip+Inp）。然后我们定义I1，I2，I3，I4为通过4个角度0°，45°，90°，135°的光强度。根据偏振的性质，我们有：I=（I1+I3+I2+I4）/2，（3）3. M-R数据集√ （（一1-I3）2+（I2-I4）2）真实世界的反射消除数据集[34，28]在数量和多样性方面受到限制，因为数据收集程序复杂，难以获得地面真实反射和传输。我们提出了一个新M-R方法，采集成对数据进行反射波消除。针对每个场景收集三元组{M，R，T}，其中M，R，T分别是混合图像、反射图像和透射图像ρ=，（4）我1I2−I4φ=arctan。（五）2I1−I3数据收集管道图4显示了我们的管道和以前的管道之间的比较[34，28，27]。以前的方法在玻璃前拍摄照片1753作为混合图像M1754玻璃类型数据格式场景对准强度衰减原Zhang等人[34个]1M、B110未对准（校准）是的没有Wei等人[28日]1M、B450未对准是的没有SIR基准[27]3M、R、B100+20+20未对准（校准）是的没有我们>100M、R、T807完美对齐小是的表1.我们收集的数据集与其他数据集的比较。我们的数据集具有更多样化的玻璃类型，完美的对齐，几乎没有强度衰减。此外，由于我们提供原始数据，我们可以合成新的{M，R，T}三元组忠实于真实的图像形成过程。Zhang等人[34]第三十四话Wei等人[28]第二十八话图4.我们的数据收集管道和以前的方法之间的比较。以前的方法使用可拆卸的，相对较薄的，无色的玻璃，以避免错位和颜色失真。由于我们不强制执行这些限制，我们可以利用日常生活中存在的各种玻璃类型。然后移开玻璃，取另一个作为透射T，从而忽略背景B和透射T之间的差异如前所述，M是R和T的和（不是B+R）。因此，推断T被认为比推断B更容易。然而，直接捕获T是相对困难的，因为所有反射必须被阻挡。因此，我们只捕获M和R，然后得到T=M-R。虽然先前的工作[29，17]声称，的反射和透射是超越线性，我们认为，非线性是由ISP流水线时，在RGB空间工作。另一方面，对于原始数据不存在这样的问题，因为传感器上的电压与光的强度线性相关。因此，Eq。（1）成立，我们可以得到一个透射图像Tdi-在M-R。图3显示RGB数据和原始数据之间的差异显然，我们的提法符合与现实，和直接减法消除反射完美。据我们所知，我们是第一个使用M-R作为原始数据的基础事实。为了确保M和R之间的完美对齐，我们使用三脚架固定相机并重新拍摄偏振图像。由电脑自动控制。我们先用一块黑布盖住玻璃的背面，阻挡所有透射T，以获得清晰的反射R。然后，我们移除布料以收集混合图像M。为了保证反射的强度在M和R中相同，我们将相机设置为手动模式，具有相对较长的曝光时间以避免噪声。M-R分析表1显示了我们的数据集和以前的数据集之间的比较。与以往的方法相比，M-R具有以下优点：a). 更多样化。以前的方法要求玻璃是薄的、无色的、可移动的和平坦的。只要透射清晰，我们就不会对玻璃做这样的假设。因此，我们可以在日常生活中使用大量的玻璃，例如玻璃门窗。玻璃可以是平的或弯曲的，薄的或厚的，有色的或无色的.我们甚至能够记录动态场景，如果反射是静态的。b). 简化任务。由于B在颜色、强度和位置上可能与T不同，因此使用B作为基础事实会在反射消除中引入额外的问题估计T是一个同样有用和简化的任务。我们的数据集提供了完美对齐的配对数据。c). 改进模拟。即使我们使用我们的方法，收集配对数据也很耗时。由于以往的方法存在不对准问题，不能通过M−B正确地获得R。此外，他们使用RGB图像而不是原始图像，因此强度的非线性是引入的。duced。从上面讨论的线性导出，我们可以直接使用M=a<$R+b<$T来模拟各种实际数据，其中a和b在0到1之间变化，R和T不成对。为了提高数据集的质量，我们计算每对R和T的平均强度比，如果该比值大于10或小于0.1，则丢弃该比值在这种情况下，R或T在感知上是不可见的。由于噪声，相减后的负值被设置为零。如果有不止一层玻璃，我们裁剪图像以仅保留具有单层的部分。只有当每个偏振图像是正确的时，才可以正确地计算偏振。因此，我们需要特别注意1755RTI，O，ρ，Φ图5.我们模型的整体架构。原始输入在网络之前经过简单的预处理。设计反射网络f，使f（M）= R∞。 精化网络g基于R和M估计T，其中g（M，R）= T。曝光过度的区域。 我们计算过曝光掩模O基于I1，I2，I3，I4的强度。1.0O（x）=.0，max{I1（x），I2（x），I3（x），I4（x）}> δ1、否则（六）0.80.60.4其中δ是阈值，我们使用δ=0。98在这里4. 方法0.20.00 102030405060708090镜面反射入射4.1. 基于反射的框架从玻璃表面反射或穿过玻璃的非偏振光变为部分偏振。偏振度ρ取决于玻璃的性质和入射角。对于折射率n = 1的特定类型的玻璃。图6示出了偏振度如何变化。基于这一事实，Kong et al.[14]和Wieschollek [19]提出了两种消除反射的方法。然而，在现实世界中，非偏振 光 假 设 这 些 方 法 将 失 败 [19 ， 14] 。 不 同 于Wieschollek et al.[19]和Kong et al.[14]，我们并不假设所有的光源都是非偏振的。我们利用了透射率ρ相差很大这一事实。因此，我们提出使用基于深度学习的两阶段方法来捕捉反射和透射之间的差异并将它们分离。图5显示了我们框架的概述我们的方法采用多通道图像作为输入。对于每个偏振角，从混合图像M中提取前4个通道I1、I2、I3、I4接下来的4个通道是I、ρ、φ、O，根据方程计算。三四五六最终的网络输出是一个通道的图像，接收到的传输时间，同样大小为I1，即宽度和高度为M的一半图6.特定电介质（n=1.7）的透射光T和反射光R的偏振度ρ对于大多数入射角，R的ρ比T更重要。在我们的过程中有两个阶段。第一阶段专用于估计反射R_n，第二阶段用于具有估计的R_n的透射T_n。我们使用两阶段设计有两个原因。首先，反射对混合图像有很大的贡献，并且在RAW空间上具有严格的关系（等式10）。1）。此外，如上所述，反射和透射在偏振方面完全不同。它们的分离解码器有助于学习特定的特征。BDN [31]还观察到反思的重要性，并通过训练双向网络来提高绩效。然而，它们的性能依赖于一个假设，使R和T更加不同：反射是模糊的。毫无疑问，他们的模型不能区分R和T时，反射尖锐。请注意，如果没有偏振，这种设计可能会降低性能，因为它们之间的差异在常规图像数据中变得微妙。4.2. 损失函数PNCC损失通常，反射和透射图像在大多数像素上是不同的我们提出了一个感知归一化互相关（PNCC）损失，以尽量减少不R偏振度17561.00.80.60.40.20.00.0 0.2 0.4 0.6 0.8 1.0α图7. PNCC损失的单调性。在对输入应用归一化之后，随着输入对变得更混合，所提出的PNCC单调减小。不同特征图上估计的反射和透射之间的相关性我们的PNCC损失是在VGG-19的不同特征图上定义的[25]。 给定两个图像IA和IB，我们尝试计算它们的特征图的NCC。在实际应用中，这种单调性在极端情况下是不正确的其中R和T之间的强度有很大的差异。因此，我们将IA、IB归一化为[0，1]，表示为IA、IB。PNCC损失的定义如下：βl是第l层的权重。 继Chen et[5]中，我们基于每层中的参数数量来初始化βl总的来说，我们优化的损失函数是R和T之间的PNCC损失和感知损失之和。4.3. 执行为了提高我们模型的性能，我们使用从VGG-19网络中提取的超列特征来增加网络的输入[25]。特别是，我们从VGG-19网络中提取由于我们的数据是RAW格式的，并且预训练的VGG-19 [25]是在RGB空间中的ImageNet数据集[6]上训练的，因此我们首先对原始输入应用伽马校正，然后将它们馈送到网络中。我们采用U-Net [18]作为f和g的网络架构。我们修改第一层的内核大小到1×1，并使用它来减少aug的维数，输入[5]。在训练中，我们首先训练f和g使用Adam优化器和学习率0.0001一起进行200个时期然后我们将学习率衰减到0.00001，并再训练50个epoch。ΣnLPNCC（IA，IB）=l=1NCC（vl（IA），vl（IB）），（7）5. 实验5.1. 实验程序其中v_l表示的第l层特征图，VGG-19 [25]. 在实践中，我们使用三层'conv2 2'、'conv3 2'、'conv4 2'。PNCC也可以使用另一个预先训练的神经网络来应用。图图7显示了PNCC的单调性和归一化的影响我们从[34]中使用的数据集中随机选择100对图像对于每对（R，T），我们通过以下方式生成合成数据IA和IBIA=T+（1−α）<$R，IB=α<$R，（8）其中α从0.01到1采样 当α = 1时，IA和IB是完全不同的两个图像，PNCC最低。当α = 0时。01时，IA包含了IB的大部分，PNCC最大，但非归一化版本不是。我们的PNCC 损失也可以应用于其他图像分解任务。在实验中得到了更多的结果感知损失感知损失[13]已被证明对各种计算机视觉任务有效[15，34，5]。在我们的任务中，我们修改它以考虑过度曝光的区域。给定过曝光掩模O，感知损失被定义为：基线。我们将我们的方法与几种最先进的反射消除方法进行了比较，包括深度学习和传统方法。具体来说，在深度学习的赛道上，我们选择Zhang et al.[34]，Wei et al. [28]， BDN [31]， Wieschollek et al.[19]和Wen et al. [29]第10段。为了公平起见，我们使用Zhang等人的官方源代码在我们的M-R数据集上重新训练模型 。 [34] Wei et al.[28] 第 10 段 。 对 于 BDN [31] 和Wieschollek等人，[19]，我们直接使用可用的预训练模 型 ， 因 为 没 有 可 用 的 训 练 代 码 。 对 于 Wen etal.[29]，因为他们的训练需要我们任务中不可用的ad-alpha matting mask，所以我们也使用他们的预训练模型。对于基于偏振的方法，我们选择Kong et[14]，Schechner et al.[23] Fraid et al.[8] 的 一 项 建 议 。Wieschollek等人的第三方实现。[19]使用。我们还评估了杨等人的基于凸优化的方法。[32]使用他们的官方源代码。DoubleDIP [9]是一个无监督的图像分解模型，但它在我们的设置中失败了。可能的原因是DoubleDIP持有一个简单的假设，即混合图像是由两个具有空间不变系数的图像组成的，但真实世界的数据打破了这个假设。ΣnLp（T，T）=l=1没有正常化归一化PNCC1757βl|vl（OT）−vl（OT）|1 .一、（九）实验设置实验主要在我们的M-R数据集上进行，因为它是唯一可用的原始数据。1758Ground Truth Zhang et al.[34] Wei et al. [28]第二十八话 [19]我们的图8.我们的方法和其他方法之间的感知比较我们的方法能够处理不同类型的反射。透射反射PSNRSSIMPSNRSSIMFraid等人 ** [八]《中国日报》21.990.7146.480.241Schechner等人 ** [23日]23.420.65512.400.247Kong等人 ** [14个]18.760.40212.960.271Yang等人[32个]25.420.780--Wieschollek等人 * [19个]22.150.71115.930.462国内基本需求 *[31]24.490.80512.340.377Wen等人 * [29日]26.620.827--Wei等人[28日]30.130.899--Zhang等人[34个]31.910.90332.020.88我们34.620.93633.880.907Our（3 inputs）33.910.93033.530.903表2.我们的M-R数据集的定量结果。我们的方法在PSNR和SSIM方面优于所有其他方法。标记为 *的方法 使用预训练模型进行评估，标记 ** 代表第三方实现。为了与使用三个偏振图像的其他方法[8，33，14，19]进行公平比较，我们使用I 1 +I 3 −I 2表示I 4作为“3输入”版本的输入。图像数据集。我们选取了100、107对数据作为验证集和检验集。所有数据都以16位PNG格式存储，以避免精度损失。大多数现有的作品在RGB空间中训练他们的模型。为了最小化这些方法的训练和测试数据之间的差距，我们对I1、I2、I3、I4的强度进行平均，然后进行伽马校正（γ=1/2）。2）在输入到模型之前。请注意，RGB图像和灰度图像之间的域间隙可能会降低某些方法的性能。所有输入图像和结果都保存为16位PNG或NPY文件，以避免精度损失。尖锐幽灵线索模糊1759Ours Yang et al. [32个]BDN [31] Wei et al. [29]第28话，我的天！一个极端是图像没有很好的聚焦，传输有点模糊。以前的方法往往会删除太多的内容，因为它们假设反射是模糊的。5.2. 与基线的比较定量评价表2总结了我们数据集的评价结果。我们的方法提出了一个新的国家的最先进的性能。传统的基于偏振的方法[23，14，8]的性能排名较低，因为它们假设所有光源都是非偏振的，对于真实世界的数据来说过于简化。一个有趣的现象是，BDN [31]在反射方面得分很低，尽管它的双向网络设计。经过分析，我们发现BDN在很多情况下混淆了传输和反射Zhang等人的评分[34] Wei et al.[28]最接近我们的人。除了在我们的数据集上重新训练之外，这两种方法的另一个共同特点是它们不仅针对合成数据，而且针对真实数据。1760透射反射输入无杆T恤带杆T恤GT R无杆R杆带极的R型表3.消融研究结果。对于没有两阶段设计的模型，没有反射，因为我们只估计T。图10.在没有偏振信息的情况下，网络在许多情况下无法区分物体的R或T，特别是对于尖锐的反射。输入我们的T我们的R图11.我们的方法在曲面玻璃上取得了令人满意的结果输入我们的T输入我们的T图12.我们的表现在非理想数据上是合理的[19]定性评价图8显示了在不同情况下通过不同方法获得的我们选择最好的参见图8、我们的方法可以很好地处理不同类型的反射，并且在不引入伪影的情况下很好地去除反射。Wi-eschollek等人[19]也可以消除不同类型的反射基于偏振，但他们的结果有可见的文物，它甚至放大了第三种情况下的反射。Zhang et al.[34] Wei etal.[28]，结果有可见的残留反射。图9示出了混合图像有点模糊的硬情况。先前的方法[32，31，28，29]假设反射是模糊的，执行效果很差，并且往往会删除太多的内容。我们的结果表明，更好的推广，没有这样的解释。我们的模型也可以实现良好的性能弯曲的玻璃和非理想的数据收集Wieschollek等人。[19]如图所示。11和图12个。5.3. 消融研究为了研究偏振信息的影响，我们将输入通道I1、I2、I3、I4、ρ、φ全部替换为I，排斥排除（已调整）PNCCPSNR22.43 26.0426.33表4.DoubleDIP的排除损失和PNCC损失的性能[9]。通过网格搜索的方法，利用排除损失对DoubleDIP的超参数进行了调整。保持网络结构不变。为了研究我们的两阶段结构的效果，我们去除了R上的损失。最后，我们进行了一个实验的设置没有PNCC。结果示于表3中。极化信息对性能的改善最大。图10示出了样品。该模型在没有极化信息的支持下将T预测为R。两阶段设计也大大提高了我们模型的性能。我们提出的PNCC可以进一步提高我们的模型在反射去除上的性能。作为一个额外的评估，我们比较PNCC与张等人提出的排除损失。[34]。实验在DoubleDIP [9]框架下进行，该框架采用排除损失来分解图像。通过用我们的PNCC替换排除损失，我们得到表4中的评估结果。我们的方法很容易就超过了它们的官方实现，并且在为它们调整超参数后仍然表现得更好。6. 讨论我们提出了一个两阶段的偏振反射消除模型与完美的对齐的输入输出图像对。通过一种新的反射公式来绕过背景和混合图像之间的错位问题，我们构建了一个偏振反射去除数据集，该数据集覆盖了现实世界中的100多种玻璃。提出了一种通用的分解损失，称为PNCC，以最小化两幅图像在不同特征层次上的相关性我们已经进行了充分的实验，以证明我们的模型的有效性。我们希望我们的新模型公式和M-R数据集可以启发未来在反射去除方面的研究确认我们感谢商汤科技集团有限公司对本研究项目的支持。PSNRSSIMPSNRSSIM没有偏振31.920.91931.380.876无两级32.780.920--无PNCC34.420.93433.720.905我们34.620.93633.880.9071761引用[1] 阿 米特 K. 放 大图 片 作者 ： Ramesh Raskar ， Shree K.Nayar和Yuanzhen Li。使用梯度投影和闪光曝光采样消除摄影伪影TOG，24（3）：828- 835，2005. 3[2] Nikolaos Arvanitopoulos、Radhakrishna Achanta和SabineSusstrunk。单图像反射抑制。在CVPR，2017年。2[3] Gary A Atkinson和Edwin R Hancock。从漫射极化恢复表面取向。TIP，15（6）：1653- 1664，2006. 2[4] Alexander M Bronstein，Michael M Bronstein，MichaelZibulevsky，and Yehoveny Y Zeevi.稀疏独立分量分析用于透射和反射图像的盲分离IJIST，15（1）：842[5] Qifeng Chen和Vladlen Koltun。用级联细化网络进行摄影图像合成。InICCV，2017. 6[6] Jia Deng，Wei Dong，Richard Socher，Li-Jia Li，KaiLi，and Fei-Fei Li. Imagenet：一个大规模的分层图像数据库。CVPR，2009。6[7] Qingnan Fan ， Jiaolong Yang ， Gang Hua ， BaoquanChen，and David Wipf.用于单个图像反射去除和图像平滑的通用深度架构。InICCV，2017. 一、二[8] H. Farid和E.H. 阿德尔森使用独立分量分析分离反射和照明CVPR，1999年。二六七[9] Yosef Gandelsman、Assaf Shocher和Michal Irani。“双底”：通过耦合深度图像先验的无监督图像分解。在CVPR，2019年。六、八[10] 郭晓杰、曹晓春和马毅。从多个图像中稳健地分离反射。CVPR，2014。3[11] 韩秉柱和沈在英使用低秩矩阵完成消除反射在CVPR，2017年。3[12] E. 赫克特光学. 培生教育Addison-Wesley，2002年。3[13] 贾斯汀·约翰逊，亚历山大·阿拉希，李飞飞。实时风格转换和超分辨率的感知损失。在ECCV，2016年。6[14] Naejin Kong，Yu-Wing Tai，and Joseph S.信基于物理的反射分离方法：从物理建模到约束优化。TPAMI，36（2）：209-221，Feb. 2014. 二五六七[15] 李晨阳和陈奇峰。全自动视频着色与自我正规化和多样性。在CVPR，2019年。6[16] 作者声明：by Michael S.利用反射变化自动消除反射。InICCV，2013. 3[17] 马代谦，万人杰，石伯新，Alex C.科特和段凌玉。学习共同产生和分离反射。在ICCV，2019年。二、四[18] Ronneberger Olaf，Fischer Philipp，Brox Thomas.U-网：用于生物医学图像分割的卷积网络在MICCAI，2015年。6[19] Wieschollek Patrick ， Gallo Orazio ， Gu Jinwei ， andKautz Jan.在野外分离反射和透射图像。在ECCV，2018。二五六七八[20] 作者：Michael S.布朗使用双像素传感器消除反射。在CVPR，2019年。2[21] 伯纳德·萨雷尔和米哈尔·伊拉尼通过层信息交换分离透明层。见ECCV，2004年。3[22] 伯纳德·萨雷尔和米哈尔·伊拉尼分离重复动态行为的透明层。载于ICCV，2005年。3[23] Yoav Schechner，Joseph Shamir和Nahum Kiryati。含半反射体场景的极化和统计分析光学学会杂志Am. ，17：276-84，032000. 六、七[24] YiChang Shih ， Dilip Krishnan ， Fredo Durand ， andWilliam T Freeman. 使 用 重 影 提 示 消 除 反 射 CVPR ，2015。1[25] Karen Simonyan和Andrew Zisserman用于大规模图像识别的非常深的卷积网络2015年，国际会议。6[26] Richard Szeliski，Shai Avidan，and P Anandan.层提取，从多个图像包含反射和transparency。在CVPR，2000年。3[27] Renjie Wan ， Boxin Shi ， Ling-Yu Duan ， Ah-HweeTan，and Alex C Kot.单图像反射消除算法的基准测试。InICCV，2017. 三、四[28] Kaixuan Wei，Jiaolong Yang，Ying Fu，David Wipf，and Hua Huang.利用未对齐的训练数据和网络增强来去除单个图像反射在CVPR，2019年。一二三四六七八[29] Qiang Wen ， Yinjie Tan ， Jing Qin ， Wenxi Liu ，Guoqiang Han，and Shengfeng He.单图像反射消除超出线性。在CVPR，2019年。二四六七八[30] Tianfan Xue，Michael Rubinstein，Ce Liu，and WilliamT Freeman.无障碍摄影的计算方法。TOG，34（4）：79，2015. 3[31] 杨洁，龚东，刘灵桥，石勤峰。深入地、双向地看：一种深度学习方法，用于消除单个图像反射。在ECCV，2018。一、二、五、六、七、八[32] Yang Yang，Wenye Ma，Yin Zheng，Jian-Feng Cai，and Weiyu Xu.通过凸优化的快速单图像反射抑制在CVPR，2019年。一二六七八[33] Y. Schechner Yoav，Shamir Joseph，and Kiryati Nahum.透明层的基于偏振的去相关：不可见表面的倾斜角。ICCV，1999年。二、七[34] Xuaner Zhang，Ren Ng，and Qifeng Chen.具有感知损失的单个图像反射分离。在CVPR，2018年。一二三四六七八