113395利用吸收效应消除单幅图像反射钱正1石博新2，3，4陈金楠1徐东江1Ling-Yu Duan段凌玉2，4亚历克斯·C. Kot11新加坡南洋理工大学电气与电子工程学院2北京大学计算机科学与技术系NELVT中国北京3北京大学人工智能研究院中国北京4鹏程实验室，深圳，中国{zhengqian，exdjiang，eackot}@ntu.edu.sg，{shiboxin，lingyu}@pku.edu.cn，jinnan001@e.ntu.edu.sg摘要在本文中，我们考虑了吸收效应的单图像反射消除问题。我们发现，吸收效应可以用折射振幅系数图的平均值进行数值近似。然后，我们重新制定的图像形成模型，并提出了一个两步的解决方案，明确考虑到吸收效应。第一步从反射污染的图像估计吸收效应，而第二步通过将反射污染的图像和估计的吸收效应作为输入来恢复透射图像在4个公开数据集上的实验结果表明，该方法不仅能有效地去除反射伪影，而且能真实地恢复由吸收效应引起我们的消融研究进一步表明，我们的方法实现了整体强度的恢复性能优越，并具 有 良 好 的 模 型 泛 化 能 力 。 该 代 码 可 在https://github.com/q-zh/absorption 上 获得。1. 介绍当光与平板玻璃表面相互作用时，它可以被部分吸收，反射和透射。反射污染图像I的广泛使用的形成模型被公式化为1I=Φ T+ΦR，（1）其中，Φ和Φ表示折射和反射振幅系数图，T和R表示透射和反射图像。从单个反射污染图像I恢复透射图像T是具有挑战性的，因为它的不适定性[1]。从方程（1）可以看出，这种不适定性不仅是由T和R的未知内容引起的，而且也是由未知的无内容变量Φ和Φ引起的。大多数现有方法依赖于图像内容来去除单个图像反射，即，来自图像梯度的显式先验（例如，[2]）和字典（例如，[3]），或*通讯作者。1由于本文中没有矩阵乘法，为了简单起见，我们将矩阵乘法重新定义来自训练数据的隐含先验（例如，[4]）。内容无关变量的性质被广泛研究以解决多图像反射去除问题（例如，[5，6]），而它们很少在单个图像反射去除的上下文中被考虑此外，大多数现有的解决方案（例如，单图像[7]，多图像[8]）基于不考虑吸收效应（在第3节中定义）的理想图像形成模型，即，假设玻璃足够薄。最近的一项工作解决了吸收效应而不是T，因为吸收效应可以显著地使透射变暗[9]。2由于吸收效应与图像内容无关，但会随现实世界中玻璃的不同颜色、厚度或方向而变化，因此考虑吸收效应有助于减轻单个图像反射去除的不适定性。本文在考虑吸收效应的基础上，重新讨论了反射污染图像的形成模型（第三节）。根据Monte Carlo模拟结果[10]，我们观察到折射效应可以用折射振幅系数图的平均值表示，定义为avg（λ）（第5.1节）。由于内容无关变量avg（λ）在模拟中波动，我们认为准确估计avg（λ）有助于解决单个图像反射去除问题为此，我 们 提 出 了 一 个 两 步 的 解 决 方 案 ， 首 先 估 计 avg（tg），然后恢复传输通过两个神经网络进行图像测试以获得准确的在第一步中，我们采用两个分支的训练策略，将I和T作为输入。核心思想是减少图像内容的透射和反射的影响，同时在我们的神经网络层中传播无内容变量avg（avg）的判别特征（第4.1节）。我们还用Lipschitz条件[11]约束第二步，以增加关于不同avg（λ）的推广能力（第4.2节）。我们的方法在公共数据集上实现了卓越的性能优势总之，我们的贡献如下，• 我们提出了第一个考虑到可持续发展的提法在反射去除的上下文中的作用我们进一步表明，吸收效应可以数值计算，2请在补充材料中找到我们为真实数据拟合吸收效应的实验113396通过折射振幅系数图的平均值来近似。• 针对考虑吸收效应的单幅图像反射去除问题，提出了一种两步解决方案，采用两分支训练策略，并以Lipschitz条件为约束条件我们进一步分析了该方法如何有助于估计吸收效应和恢复从一个单一的反射污染的图像的透射图像。• 实验结果表明，该方法不仅能有效地去除反射伪影，而且能忠实地恢复由吸收效应引起的光强畸变我们进一步证明了我们的方法在恢复整体强度方面取得了优越的性能优势，并具有良好的模型泛化能力。2. 相关工作多图像反射去除方法通常利用来自无内容变量的约束来减轻解的不适定性，例如，偏振角[8，5，12]或反射视差[6]。然而，从内容无关变量的先验很少被认为是在一个单一的图像的上下文中。大多数单图像反射去除方法从图像内容中强加先验，并且它们可以大致分为基于优化和基于深度学习的方法。基于优化的方法 假设已在文献中作出的问题，使单一的图像反射去除易于处理，由于其大量的不适定性。基于优化的方法利用自然的统计数据，图像做出明确的假设。例如，Levin和Weiss [13]基于图像梯度稀疏性先验利用手动注释分离透射和反射图像。Li和Brown [1]利用平滑图像梯度先验，因为反射图像可能失焦和模糊。Shih等人[14]根据对重影线索的观察来去除反射效果Wan等人[15]通过多尺度景深对透射和反射图像进行边缘分类。Arvanitopoulos等[2]通过对恢复的透射图像的梯度的100Wan等人[16]采用内容和图像梯度先验来联合恢复丢失的内容和恢复传输图像。Yang等[17]通过求解偏微分方程来抑制反射基于优化的方法通常产生过平滑的结果，并且当它们的假设违反时，不能推广到现实世界中的各种类型的反射。基于深度学习的方法。受深度卷积神经网络在多功能低级视觉问题中取得的前所未有的成功的启发[18]，重新各种类型的反射。与将先验知识明确地转移到精确制定的约束的基于优化的方法不同，数据驱动的方法试图从数据中学习这样的知识，并且期望推广到包括在训练数据中的各种类型的反射最近的一项研究表明，在输入和输出之间直接训练图像处理神经网络可能会由于其不适定性而过拟合回归模型[19]因此，在神经网络优化过程中，人们做了大量的努力来缩小解空间，减少不适定性Fan等人[20]估计边缘信息以指导透射图像的恢复以更好地保留细节。Zhang等人[21]在训练过程中进一步明确地利用虚拟信息来提高预测的真实性。Wan等人[22]联合优化传输层的图像梯度估计网络和图像推理网络，并捕获真实反射图像以模拟其训练数据的反射效果，并且他们通过在训练期间集成图像上下文信息并考虑图像梯度水平统计来扩展这项工作[23]。Yang等[24]使用级联网络结构来联合恢复透射图像和反射图像。Wen等[7]另外使用反射污染图像的重建误差来进一步约束估计。Wei等人[4]通过上下文编码模块恢复由强反射引起的丢失内容，并使用不变性损失来解决现实世界图像中的Kim等人[25]采用基于物理的渲染图像进行训练。Li等[26]提出了一种级联网络，以迭代地改进透射和反射图像的估计。反射污染成像模型。根据获得反射振幅系数图的方式，现有成像模型可分为经验模型[20，21，7，26]、空间均匀模型[23]和数据驱动模型[7]。遗憾的是，它们都假设了理想的成像模型，并且没有考虑吸收效应。Kim等人[25]采用基于物理的渲染方法来渲染训练数据。但是，它们没有模拟吸收效应的变化（即，它们只考虑R而不是T的衰减效应）。本文在考虑吸收效应的基础上，重新审视了污染图像形成模型，并在此基础上提出了一种单图像反射消除方案。3. 模拟吸收效应当考虑吸收效应时，平板双面玻璃的折射和反射振幅系数图可以用公式表示为[27，28]搜索者提出了几种实用的数据驱动方法，以产生对传输图像的鲁棒预测，（1−P）2（1−A）=1−P2（1−A）2，Φ=P+P（1−P）2（1−A）21−P2（1−A）2.（二）113397我′图1.我们的两步解决方案概述 在第一步中，网络g将I和OT作为输入，并输出epre和e分别表示。在第二步，网络h取I和空间复制的epre的级联的输入，并输出T预′.阿吉和阿扎尔网络g的不同隐藏层的输出。请注意，网络g的两个分支在训练期间共享相同的权重，并且带有虚线框的分支在测试中未被激活A被定义为描述光在穿过玻璃时衰减的吸收效应。P是空气/玻璃界面处的反射率。A和P可分别根据Beer-Lambert定律和Fresnel方程表示−kLA= 1−exp（），cosΘ4. 该方法根据第3节中的分析，我们将等式（1）中的图像形成重新表示为：I=eOT + ΦR。（五）由于与内容无关的变量e在现实世界中波动（如图3（f）所示），我们认为，1P=（（2不cosΘ−κ cosΘt2）cosΘ+κ cosΘtcosΘt−κcosΘ2+（）），cosΘt+κ cosΘ（三）有利于解决单幅图像反射消除问题然后，我们提出了两步解决方案其中k是表示玻璃颜色的衰减系数，L是光穿过玻璃的距离g：I →e，h1：（I，e）→OT，h2：OT →T。（六）玻璃，其由玻璃的厚度确定，κ是折射率，Θ是关于玻璃的入射角的图，根据Snell's公式，Θt=arcsin（1sinΘ）第一步包括网络g，其从下式估计e：I.第二步由网络h1和h2组成，其中h1在e的帮助下从I恢复OT，h2恢复Tκ依法对于普通窗玻璃，k的范围为4m-1至从OT。图1显示了该框架的概况32m−1[28]且κ = 1。474[8]。如第2节中所介绍的，现有的图像形成模型假设A=0，从而导致A+Φ=1。这种假设忽略了吸收效应。对于反射去除方法，不可靠的λ和Φ假设会降低其性能，特别是对于T（定义）的在等式（17）中）。相比之下，我们考虑一个更一般的形成模型与A/= 0。直接从I求解A是一项重要的任务，因为A的矩阵形式以及A和I之间的真实世界关系（由等式（1）描述）。在本文中，我们假设反射发生在一片平板玻璃上[29]，这是均匀的，各向同性的[30]，并填充了相机的整个视场（FoV）。基于这一假设，我们证明了标量e，即λ的平均值，可以用来数值近似第5.1节中的吸收效应。通过这种近似，可以将e分解为e乘以矩阵O，n=eO，（4）其中O中的所有元素都趋于1。预113398注意，网络h1和h2被组合为网络h。4.1. 估计吸收效应e由于CNN通常基于图像内容提取特征，因此使用网络g从I估计与内容无关的变量e并不是一项简单的任务。为此，网络g还由成对的OT提供，以在训练期间专注于无内容特征（图1中的虚线框）。这个想法是，虽然OT和我有类似的图像内容的传输，他们有相当不同的e，即，g（I）应该是e，而g（OT）应该是1。因此，无内容变量e的特征预计将通过监督的方式学习。虽然这种简单的方案有利于隔离传输的图像内容特征，但是它可以使网络G集中于反射的图像内容（即，ΦR）。因为I和OT之间的区别特征包括e和ΦR。在下文中，我们展示了如何减轻来自反射的图像内容的影响，并将重点放在e通过网络g的设计和损失函数L。图2显示了实际数据的两个元组（I，T，ΦR）。如可以观察到的：1）强反射在稀疏中占主导地位113399DeDeΨΨ图2. 来自SIR2 [31]的数据图示。从左到右：I、T和ΦR。强/弱反射用红/蓝框标记。区域，并且这些区域在I中的强度远大于在T中的强度（红框）。2）剩余的弱反射继续扩散，I和T之间的这些区域的强度差趋于具有接近且小的值（蓝框）。基于这些观察，网络g被设计为：1）ReLU 6 [32]而不是ReLU [33]被用作激活函数，以切断强反射产生的大值。2）零中心（ZC）操作[34]用于减去由弱反射引起的均匀影响我们还将网络g（和h）设计为无偏卷积就是重量 我们设置权重{λ i}，{0。2，0。8，2，3，4}，因为随着i的增加，i趋于零。总而言之，两个分支的培训战略有助于将图像内容特征与传输隔离。所提出的网络g的架构和损失函数Lf有助于减轻来自反射的图像内容的影响这些设计有助于在网络g的各层之间传播e，并有助于对e的准确估计。4.2. 恢复传输T对网络h1进行优化，使h1（I，e）=OT成立.由于变量e分布在连续空间中（即，e∈E），我们进一步约束e∈E，h1（I，e）=OT，S.T.I=fI（e）=eOT+ΦR（10）由于该约束确保了e∈E的范围而不是单个值e0来满足h1（I，e）=OT，因此预期有助于将从有限的训练数据中学习到的先验推广到具有不同吸收效果的真实数据在下文中，我们证明了应用方程（10）中的约束可以通过保证函数s（e）= f I（e），e ∈ E '是初值问题的唯一解来实现[ 11 ]。神经网络[35]更好地从输入I传播e。然后，我们进一步展示这些设计如何帮助实现我们的目标。具体来说，近似为.h1（s（e），e）=ds，I0=s（e0），（十一）ReLU6（ax + y）= a ReLU6（x）+ReLU6（y），其中a是[0. 7，1]3，x和y是两个张量，我们的设计带来了以下近似′i其中，x2是图1所示隐藏层的输出，定义为： .其中（I0，e0）来自训练数据。如果网络h1被训练成使得fi（e）是方程（11）中初值问题的唯一解，则我们有ds= OT。确保等式（10）中的约束被保持。否则，函数s（e）的导数不一定是唯一的，h1（s（e），e）或h1（I，e）不一定等于OT.因此，不能确保满足等式（10）显然，fI（e）是其中之一i=ΦR，i=0ZC（ ReLU6（wi−1）），i=1，2，3，4，5，（八）方程（11）中的初始值问题的解，因为我们用满足fI（e）的数据训练h1。所以关键其中w是学习的卷积核。ReLU6 [32]截断大值（针对具有大强度值的稀疏强反射），ZC[34]减去平均值（针对具有均匀强度值的密集弱反射），因此随着i的增加，i趋于零。由于如等式（8）所示，反射的图像内容携带来自ΦR的信息，因此在深层中，反射的图像内容随着Φi此外，等式（7）表明e可以成功地传播到深层。为了在训练期间更好地强制将RPMI为零，我们进一步用损失函数L_i约束最小化确保等式（10）中的约束是确保解f1（e）的唯一性。根据Cauchy-Lipschitz定理[11]（也称为Picard-Lindelöf定理或Picard存在定理），只有当h1满足Lipschitz条件[37]的约束时，才能得到解假设I∈U，Lipschitz条件的约束可以表示为[37]|h1（I1，e）− h1（I2，e）|≤ M |I1− I2|，<$（I1，e），（I2，e）∈ U × E，（十二）其中M被称为Lipschitz常数。功能L=Σ5i=1λiΣ5=i=1′λiBCE（ii，egt），（9）h1称为M-Lipschitz函数，如果它满足等式（12）中的约束与[38]类似，本文中我们将M设为1最近的工作实现了Lipschitz其中，BCE是逐元素的分解操作，BCE（·，·）表示应用的二进制交叉熵损失函数[36]使用梯度惩罚的深度神经网络模型的条件[39，38]。Gulrajani等人”[38]这是一个比喻。′4对矩阵的每个元素和标量egt，λi113400我3范围根据图3（d）中的模拟结果确定4.我们尝试使用L1/L2损失函数（例如，例如，在一个实施例中， 然而，网络往往会产生全零特征图。可分函数是1-Lipschitz当且仅当它处处有范数至多为1的梯度。它们直接将深度神经网络的输出的梯度范数约束为其输入，并使用513401我Ψ40埃普雷对随机样本的梯度范数的惩罚。关于证明和实现的细节可以在[38]中找到。我们采用与[38]中类似的策略来约束h2为1-Lipschitz可微函数，即，梯度惩罚损失函数，其对于随机反射污染的图像RNI将梯度范数惩罚为1LCon=（h1（I，e）−1）2，I∈U，e∈E.（十三）U表示反射污染图像分布的子空间。我们可以构造<$I=I+<$1OT，其中<$1<$U [−0. 1、0. 1]和U表示均匀分布。也就是说，我们把反射污染图像看作是吸收效应为反射污染图像。因此，我们有一个v∈I∈U。We构造E={e|e=<$2egt+（1−<$2epre）}，其中<$2<$U[0，1]。这与[38]中的类似，即，均匀采样从地面真实分布和估计分布采样的数据之间的直线。合并h1和h2。我们将h1和h2组合为网络h，并将梯度惩罚损失函数应用于h，以将其应用于h1。这种近似是这是合理的，因为一旦h的梯度被惩罚，则期望h1（h的分量）的梯度被惩罚。梯度惩罚损失函数保证了方程（11）的初始值问题的唯一解，并确保了方程（10）中的约束，这有助于将从有限的训练数据中学习到的先验推广到具有不同吸收效应和各种场景的真实数据4.3. 损失函数我们使用交替优化方案迭代地训练g和h为了更好地考虑吸收效应估计，我们在更新h五次之后更新g一次。g和h的损失函数如下Σ5SSIM使用[44]中的默认参数定义。强度变量结构相似性（SI）[45]仅关注结构相似性[31]。实施细节。图1显示了g和h的网络架构。我们采用了与[46，47]中类似的网络架构，因为h具有出色的图像生成能力。批量大小设置为16。我们设λ e=0。5，对于所有实验，λgp=10两个神经网络都使用Adam求解器[48]进行训练，β1= 0。β2= 0。九九九 我们将g和h的学习率设置为0。0001，并衰减到0。000005为接下来的100个时期。除非明确说明，本文中的所有实验都使用上述相同的设置5. 实验测试数据。我们使用四个真实的数据集进行评估。由于吸收效应与玻璃厚度、方向和颜色等因素有关（在第3节中介绍），因此我们在测试数据集中突出显示这些因素5。SIR2 [31]包含454个测试样本，其中120个因此，我们将SIR2 [31]的这个子集作为SIR2-THICK [31]进行评估。ZC 20-ORIEN [50]包含160个采用5种不同玻璃取向捕获的样品。LY 20-DATA [26]包含220个样品，其中部分样品采用两种不同的玻璃厚度和两种不同的玻璃方向捕获。ZN 18- DATA [21]包含109个测试样品，其中部分样品采用两种不同的玻璃方向捕获。比较方法。七种最先进的单图像反射消除方法，包括基于优化的方法，即，YM19 [17]和六种基于深度学习的 方法 ，即 ，ZN18 [21]，WS19 [23]， WY19 [4]，WT19 [7]，KH_（20）[25]、LY_（20）[26]等方法与我们的方法进行了比较′Lg= LT+λe（ Le+Le）+Lh=LT+λgpLgp.i=1λiLi，（十四）量化指标。我们使用SSIM [44]和PSNR [43]作为误差度量。此外，我们还引入了强度相似性指数的平均值IS（average of Intensity Similarity index）来评价算法的准确性LT是重建损失函数，Le是二进制交叉熵损失函数[36]整体强度相似。因为我们的方法与其他方法的关键区别之一是e的估计，LT=D（Tpre，Tgt），LE=BCE（epre，egt），L′=BCE（e′，egt），（十五）这有助于T的总强度的恢复强度相似性指数侧重于其中Tpre=h（I，epre），epre=g（I），D是预定义测量图像Tpre和TgtD（Tpre，Tgt）=λpper−λpsec−λpsecPSNR−λ SSIM−λSI，（16）两个图像x和y之间的强度相似性，定义为SSIM指数的一个因子[44]IS（x，y）=2µxµy+c，（17）µ2+µ2+c其中λPSNR 设为1为了平衡SSIM 还有，预定义度量D联合考虑反射去除中我们使用类似的工具-其中µx和µy是x和y的平均值，c是常数其被设置为如[44]中的默认值。[21 ]如：[22]如：[23]如：[24]如：预训练的VGG-16 [41]模型在ImageNet数据集上训练[42]。峰值信噪比（PSNR）[43]和结构相似性（SSIM）Xy513402[44]是两个广泛使用的度量图像之间的差异。的5由于没有具有玻璃颜色变化的现有数据集，我们使用基于物理的渲染引擎Cycles [ 49 ]合成BLD-C OLOR数据集。与其他最先进的方法相比，所提出的方法实现了最佳性能。数据合成和结果的详细信息可以在我们的补充材料中找到。613403==图3. （a）蒙特卡罗模拟的相机模型。(b)分布和单位（即，度、米、米-1和毫米）的输入变量进行蒙特卡罗模拟。(c)函数a=fA（θ，k，L）的曲线，其中a是A的元素，θ是相应的入射角，L= 9mm。(d)以及（e）10000个随机生成的η的分布、平均值、η和Φ的标准差。(f)吸收系数η与e（或avg（ε））的相关分析结果。5.1. 合成训练数据我们基于等式（1）合成我们的训练数据，其中18224T来自Places 365 [51]6，5552R来自[22]，18224{，Φ}根据Monte Carlo模拟生成[10]。 相机型号如图3（a）所示。 最近的一项工作[50]表明，Φ和Φ由凸轮的水平FoV共同确定表 1. 重 新 训 练 和 预 训 练 模 型 之 间 的 平 均 SSIM [44] 差 异（×10−3）正数表示通过重新训练的模型实现的改进。使用所指示的数据集来训练所指示的方法的模型DatasetsZN18WS19公司简介WY19公司简介 LY20erapf（假设输入大小为2：3），re-分数指数κ和玻璃的取向（代表由（sinpo1sinpo2，sinpo1cospo2，cospo1））发送。与[50]假设A=0不同，我们考虑了A的模拟。具体地，我们进一步考虑玻璃宽度pw、相机与玻璃之间的距离pd、玻璃厚度pt和玻璃衰减系数k的因素。蒙特卡罗模拟[10]的这些输入是基于均匀分布7生成的。图3（b）显示了本文中使用的这些变量它们是根据我们日常生活中的观察来设定的，水平FoV是根据数码相机设置的（即，佳能EOS 5D Mark III），在拍摄玻璃时，摄影师可能不会站得太近（<0. 2m）或太远（>5m）。数值近似。为了表明吸收效应可以用平均值来表示，我们额外生成10000{Φ，Φ，A}用于分析。我们观察到，根据方程（3）中的公式，A的所有元素在不同入射角下趋于一致这一观察结果可以通过图3（c）中关于θ变量的a=fA（θ，k，L）曲线来验证，其中a是A的元素，θ是相应的入射角，k和L对于给定的I是固定的（假设一块平板玻璃[29]）8。的6这些图像来自四个场景，办公室，停车场-室内，餐厅_露台和街道，因为玻璃反射更多吸收效应A因此可以近似地由其平均值η表示，并且我们将η定义为吸收代理，即， ηdefavg（A）. 我们通过绘制10000个模拟结果来研究η和{θ，Φ}之间的关系。{η，avg（Φ），std（Φ），avg（Φ），std（Φ）}9. 图3（d）和(e)绘制模拟结果。广泛分布的η表示真实世界中吸收效应的波动。相比之下，avg（Φ）和std（Φ）的窄分布表明η和Φ之间的相关性较弱。由于std（λ）的分布范围较窄且值较小，故λ的所有元素趋于均匀。因此，我们定义了edef avg（n），并关注e和η之间的关系。图3（f）显示了它们的相关性分析结果。受e和η的一一映射关系的启发，我们使用e作为吸收效应的数值近似。5.2. 成像模型的验证我们使用与我们的方法相同的训练数据重新训练基于比较学习的方法，并将它们的性能与每个测试数据集上的预训练模型进行比较。由于再训练模型所使用的训练数据是基于我们的图像形成模型生成的，而预训练模型所使用的训练数据是由其他图像形成模型生成的（即，WT19 [7]采用了在这些场景中可能会发生注意，排除了1776个灰度图像7正态分布在以下分析中提供了类似的观察结果由于根据等式（3），L和k对a的贡献相等，依赖于L的变化可以通过a如何依赖于k而变化来发现。9SIR2-THICK11.0五点二十63.013.8九点零八分13.8ZC20-ORIEN1.9728.224.77.2016.97.02LY20-DATA6.132.7765.458.45.60/SIR222.9-12.458.7-6.024.2611.8613404表2. SIR 2-THICK[31]、ZC 20-ORIEN[50]、LY 20-DATA[26]、SIR 2[31]和ZN 18-DATA [21]的SSIM、IS和PSNR定量结果比较，以消除反射。我们分别用红色和蓝色标记性能最好和第二好的方法数据集（大小）度量我们单支不含-ConZN18[21]YM19[17][第23话]WT19[7]WY19[4]KH20[25]LY20[26]SIR2-SSIM0.89650.88770.89400.84940.85980.87510.86870.88640.88690.8641THICK是0.97730.97110.97520.92750.95200.95320.96300.96460.96960.9598（120）[31]PSNR24.0522.8523.5918.9121.8520.6322.0323.0023.4622.02公司简介SSIM0.87900.86380.86630.86730.86600.82440.86440.86160.87570.8743吴莲是0.97220.95980.97200.96700.96600.91420.95940.96460.97120.9681（160）[50]PSNR23.9320.4223.6922.6123.6819.2621.4023.8423.4823.56LY20-SSIM0.87320.85680.86730.83540.85310.84200.82440.82540.84800.8568DATA是0.95520.94280.95030.94100.94580.94010.93680.94990.94900.9414（220）[26]PSNR23.9722.2323.7223.1321.9321.3520.7322.4122.8523.61[ 31 ]第31话SSIMIS峰值信噪比0.90030.89060.89340.87030.86800.89610.87460.89060.89160.89450.97560.96880.97330.92670.95030.95000.95940.95930.96660.958924.3423.0623.9019.2422.2020.9322.0523.3523.6422.76公司简介SSIM0.77830.76530.76690.76710.73950.76630.68440.76680.75070.7691DATA是0.89700.88460.89660.88430.87030.89560.86780.87270.88080.8773（109）[21]PSNR19.6318.3219.6018.4418.6919.0417.0119.2218.8419.05Input（I）Ground truth Ours One-branchw/o-Con YM19 ZN18 WS19 WT19 WY19 KH20 LY20Figure 4.从上到下：SIR2-THICK [31]、ZC 20-ORIEN [50]、LY 20-DATA [26]、SIR2 [31]和ZN 18-DATA [21]样品反射消除的视觉质量比较。颜色框突出显示明显的差异。放大以获得更好的细节。等式（1），其中Φ+Φ=1），这样的性能比较是为了评估我们的图像形成模型的有效性。表1显示了重新训练和预训练模型之间的平均SSIM [44]的差异可以观察到，重新训练的模型优于预先训练的模型，27个案例中有24个案例10。请注意，[25]中训练数据的吸收效果往往是均匀的，因为它们设置了固定的重新训练的模型的性能优势证明了我们的图像形成模型对单个图像反射去除的有效性。5.3. 整体性能为了与最先进的基于学习的方法进行公平比较，我们在表2中报告了每个测试数据集的重新训练和预训练模型的更好数字。正如可以观察到的，我们的方法实现了最好的性能方面，所有测试数据集的所有指标图4显示了10由于ZN 18 [21]，WY 19 [7]的预训练模型使用来自ZN 18-DATA[21]的100个样本进行训练，LY 20 [26]的预训练模型使用来自LY 20-DATA [26]的200个样本进行训练，我们没有比较它们的结果，也没有报告这些情况下重新训练模型的性能613405视觉质量比较。11可以观察到，YM19 [17]产生过平滑的结果，ZN18 [21]恢复具有颜色失真的T，WS19[23]预测暗结果，WT19 [7]，WY19 [4]，KH 20 [25]和LY 20 [26]未能消除反射（第三至第五行）并产生不准确的整体强度相似性（第一和第二行）。相比之下，我们的方法不仅成功地消除了反射伪影，而且忠实地恢复了由吸收效应引起的强度失真我们的方法的最先进的性能证明了我们的解决方案的有效性，明确考虑了吸收效应。5.4. 消融研究我们调查了我们的解决方案12的每个部分的有效性。具体来说，我们开发了两种方法，这是所提出的方法的简化版本：1）11更多的视觉质量比较的例子可以在我们的补充材料中找到。图12单步网络的消融研究，即，直接回归I到T使用网络h，可以在我们的补充材料中找到。8134061020图5. 左图：ZC 20-ORIEN [50]、LY 20-DATA [26]、SIR2 [31]和ZN 18-DATA [21]数据集中所有测试样本的IS结果。每个数据集的样本是有序的，增加我们的方法获得的IS。右：预测的T_pre（或输入I）与T_gt的真实值之间的IS索引映射的可视化。这些IS索引图的相应图像可以在图4中找到。颜色框突出显示明显的差异。放大以获得更好的细节。在训练过程中，无损失函数L∞2) ‘剩余部分和0.970.95大中小0.950.93大中小0.960.94大中小0.880.86大中小我们的训练方法是保持不变的。双分支培训，传播精准就业。通过与单分支训练方法的性能比较，验证了如表2和图4所示，对于所有测试数据集，所提出的方法优于单分支方法这种性能优势，特别是对于度量IS，表明双分支训练有助于更准确地估计e，从而可以更准确地恢复T的整体强度我们在图5（左）中进一步说明了每个测试样品的IS可以看出，我们的方法对于所有测试数据集都具有优于单分支方法和其他最先进方法的性能图5（右）中的视觉质量比较直观地表明，从我们的方法中恢复的T我们的方法有助于通过准确恢复整体强度的单图像反射去除满足等式（10）中的约束以促进模型泛化能力。根据第4.2节的分析，满足网络h的Lipschitz条件有助于约束方程（10）并提高模型泛化能力。因此，我们通过比较所提出的方法和w/o-Con方法的性能来进行评估。如表2和图4所示，对于所有测试数据集，与w/o-Con方法相比，所提出的方法实现了略好的结果为了更好地验证我们的方法的优点，我们使用有限大小的训练数据来训练所提出的方法和w/o-Con因为有限大小的训练数据有助于突出数据驱动方法的泛化能力我们用1和1的原始训练数据来训练这两种方法，分别表示为我们还比较了基于原始训练数据的结果由于该约束是基于e应用的，因此我们使用IS作为度量。图5显示了性能。图6.我们的方法的IS性能比较（红色曲线）和w/o-Con方法（蓝色曲线）使用不同大小的训练数据（Large，Medium，Small）。从左至右：ZC 20-ORIEN[50]、LY 20-DATA [26]、SIR2 [31]和ZN 18-DATA [21]测试数据集的结果。mance随着不同的训练数据大小而变化可以观察到，我们的方法的性能优势在所有测试数据集的训练数据量较小的情况下更为显著这一观察结果验证了我们的方法善于从有限大小的训练数据中学习知识，这表明与w/o-Con方法相比，它具有更好的泛化能力。6. 结论本文在考虑吸收效应的基础上，重新讨论了反射污染图像的形成模型，提出了两步消除单幅图像反射的方法我们的方法所取得的最先进的性能验证了准确估计的吸收效应有利于准确恢复的透射图像。局限性。估计的吸收效应e可以是不确定的。因为从I估计e是一个不适定问题。这估计受到未知场景引入的模糊性的影响（例如，场景的环境照明）和相机本文假设所有场景的摄像机ISP都是固定的，这在现实世界中可能是一个很强的要求。另一个局限性是我们对吸收效应的简化，这使得很难直接用实际数据来验证模型确认本研究是在新加坡南洋理工大学快速富对象搜索实验室（Rapid-Rich Object Search，ROSE）完成的，得到 了 国 家 自 然 科 学 基 金 （ 基 金 号 ： 61872012 ，62088102）和北京市人工智能研究院（BAAI）的资助。913407引用[1] Y. Li 和 M. S. Brown ， “Exploiting reflection change forautomatic reflection removal”，inProc. 2013年国际计算机视觉大会。一、二[2] N.阿尔瓦尼托普洛斯河Achanta和S. Süsstrunk，一、二[3] R. 万湾，澳-地Shi，A.-H. Tan，和A.C. Kot，1[4] K. Wei，J. Yang，Y. Fu，D. Wipf和H. Huang，“Singleimage reflection removal exploiting misaligned training data and networkenhancements，”inProc. 计算机视觉和模式识别，2019年。一、二、五、七[5] P. Wieschollek，O. Gallo，J. Gu和J. Kautz，一、二[6] A. Punnappurath和M.S. Brown，“Reflectionremovalusingadual-pixelsensor，”inProc. 计算机视觉和模式识别，2019年。一、二[7] Q.温，Y. Tan，J. Qin，W. Liu，G. Han和S.他，一、二、五、六、七[8] N.孔，Y.- W. Tai和J.S. Shin，209- 221，2013。一、二、三[9] C. Lei，X. Huang，M.张，智-地严，W. Sun和Q. Chen，“Polarized reflection removal with perfect alignment in thewild，”inProc. 计算机视觉和模式识别，2020年。1[10] C. Z.穆尼，蒙特卡洛模拟. Sage出版社，1997年，第116卷。第1、6条[11] E. A. Coddington 和 N. Levinson ， Theory of ordinarydiffective equations. Tata McGraw-Hill Education ， 1955年。1、4[12] Y.柳Z，巴西-地Cui，S. Li，M. Pollefeys和B. Shi，2[13] A. Levin和Y.Weiss，29号，不。第9页。1647-1654，2007年。2[14] Y.施氏D. Krishnan，F. Durand和W. T. Freeman，2[15] R.万湾，澳-地施，T. A. Hwee和A. C. Kot，“Depth offield guided reflection removal”，inProc. 国际图像处理会议，2016年。2[16] R.万湾，澳-地施湖Y. Duan，A.- H.谭，W。Gao和A. C.Kot，2927-2941，2018年。2[17] Y. 杨，W.马，Y。郑杰F. Cai和W.Xu，二，五，七[18] J. Pan，S.Liu，L.孙，J.Zhang，Y.刘，J.Ren，Z.Li，J.唐先生，H. 卢，Y.-W. Tai等人，2[19] X. Fu，J.Huang，黄氏拟谷盗D.Zeng，Y.Huang，X.Ding和J.Paisley，2[20] Q. Fan，J.Yang，G.华湾，澳-地Chen和D.P. Wipf，国际计算机视觉会议论文集，2017年。2[21] X. 张河，巴西-地
我的内容管理
展开
