光源引导的单幅图像光晕去除方法

41770基于光源引导的单幅图像光晕去除0肖天乔 Gerhard P. Hancke Rynson W.H. Lau香港城市大学0摘要0由于相机内部的非预期反射和散射，拍摄的图像往往会出现光晕伪影。然而，由于光晕可能以各种形状、位置和颜色出现，完全检测和去除图像中的光晕是非常具有挑战性的。现有的方法依赖于光晕的预定义强度和几何先验知识，可能无法区分光源和光晕伪影之间的差异。我们观察到图像中的光源条件对产生的光晕起着重要作用。在本文中，我们提出了一种具有光源感知引导的深度框架，用于单幅图像光晕去除（SIFR）。具体而言，我们首先分别检测光源区域和光晕区域，然后根据光源感知引导去除光晕伪影。通过学习这两种区域之间的潜在关系，我们的方法可以从图像中去除不同类型的光晕。此外，我们提出了第一个无配对光晕去除数据集和新的循环一致性约束，以获得更多样化的示例并避免手动注释。大量实验证明我们的方法在定性和定量上优于基线方法。我们还展示了我们的模型可以应用于光晕效果的操作（例如添加或更改图像光晕）。01. 引言0图像光晕是常见且常常不受欢迎的光学伪影，由于拍摄具有非常明亮光源的场景而引起[1,24]。部分光线在相机内部的光学元件之间发生互反射，产生图像中的一些意外光学伪影[23]。由于缺乏防反射涂层，这些伪影在智能手机相机中更容易出现。光晕伪影的存在会影响图像的视觉质量，并可能阻碍对底层对象/场景信息的理解，影响现有视觉任务的性能[31]，例如语义分割和深度估计。然而，自动检测和去除光晕伪影是非常具有挑战性的。0（a）输入图像（c）Wu等人[31]（d）我们的方法（b）Chabert等人[4]0图1.单幅图像光晕去除（SIFR）。给定带有光晕伪影的输入图像（由红色箭头指示），现有方法（b）和（c）只能处理有限的光晕类型（例如光晕斑点），无法完全去除光晕或错误地将其他区域视为光晕（例如第一行的云）。相比之下，我们的光源感知模型（d）可以更准确地去除光晕。0将它们移动起来可能非常具有挑战性。镜头属性和环境设置的不同组合，包括光源位置、镜头特性和相机角度与光源的关系，可能导致不同类型的光晕，具有不同的形状、颜色和位置。专业摄影师在图像捕捉过程中可能会采取预防措施，如优化的镜筒设计、镜头罩或防反射涂层，以帮助消除光晕。不幸的是，这些硬件解决方案很难完全消除所有的光晕伪影[20,22]。这可能是由于图像光晕的多种原因。它们也不能应用于已经存在光晕伪影的现有图像。已经有一些尝试通过利用预定义的光晕伪影的强度和几何先验知识来自动从图像中去除这些不良的光晕[30,4]。然而，这些方法只能处理有限的光晕类型（例如光晕斑点），如图1(b)所示。最近，随着深度神经网络的普及，提出了一种深度模型[31]来学习从配对的合成训练数据中去除不同类型的光晕伪影。尽管它在性能上优于现有的传统方法，但在不同的真实世界图像上的泛化能力不强，如图1(c)所示。41780通过我们的研究，我们得出了两个观察结果。首先，我们观察到光源在生成光斑的视觉外观中起着重要作用，例如，一系列从光源向外辐射形成星形效果的条纹，光源周围逐渐消退的耀斑作为明亮区域，以及图像中的一系列圆圈或环。这些暗示了光源的形状、亮度和位置对光斑的外观编码了有用的线索。通过学习这种光源感知引导，我们可以更可靠地检测和去除光斑。其次，收集具有多样性的图像光斑配对的大规模数据集并不容易。通常，用户需要手动调整相机参数以获得光斑图像，然后使用预防措施获得无光斑图像。不幸的是，由于环境光照的变化，这种设置经常产生具有不一致颜色和曝光的训练对，0受到上述观察的启发，我们提出了一个以光源为导向的学习框架，利用非配对数据进行单图像光斑去除（SIFR）。首先，我们分别使用两个分支单独检测光源区域和光斑区域。给定一张单张图像作为输入，我们提出了一个光源检测（LSD）模块来预测光源掩膜，以及一个光斑检测（FD）模块来预测光斑掩膜。其次，我们基于光斑掩膜和光源感知引导使用光斑去除（FR）模块估计一张无光斑图像。最后，我们通过光源预测掩膜和无光斑图像通过光斑生成（FG）模块进行馈送，学习逆映射以重构输入的光斑图像。通过施加循环一致性约束[34]并学习光斑区域和光源区域之间的潜在关系，我们首次尝试通过一个统一的框架来解决光斑去除问题，该框架集成了光斑去除和光斑生成任务。我们的方法允许使用成本更低的非配对数据进行模型训练。0我们进行了大量实验证明了所提方法的有效性。实验结果表明，与基线方法相比，我们的方法在去除光斑伪影方面是有效的。我们还展示了我们的模型可以应用于图像编辑，允许用户通过改变光源的位置或大小来操纵图像中的光斑效果。0总之，我们首次尝试利用光源信息来指导SIFR任务，并提出了一个深度框架来学习来自非配对数据的新循环一致性约束。我们还构建了第一个具有多样化场景的非配对光斑和无光斑图像数据集。广泛的评估结果在定量和定性上都证明了我们方法的有效性，以及在光斑效果处理任务上的好处。02. 相关工作0传统方法。检测和去除图像光斑是重要的问题。已经提出了许多方法来测量、检测或去除光斑伪影，包括硬件和软件解决方案。大多数硬件解决方案侧重于改善相机的光学元件以去除光斑。基于已经研究的不同镜头系统的光斑特性[15]，Boynton等人[3]构建了一个充满液体的相机，以减少不需要的光反射的影响。Raskar等人[22]在成像传感器上插入一个透明掩膜，以使用4D射线采样来减少光斑效应。Macleod等人[18]发现，用中性密度滤光片替换圆形偏振器可以减少镜头表面的反射。然而，上述具体的硬件修改还不足以完全去除镜头光斑伪影。此外，它们只能在捕捉过程中减少光斑伪影，并且无法处理已经存在光斑伪影的图像。为了解决上述限制，提出了几种后处理方法来检测和去除图像光斑伪影。Faulkner等人[7]和Seibert等人[25]提出使用测量的耀斑扩展函数（GSF）进行反卷积来去除图像光斑伪影。Wu等人[30]通过使用关于光斑和无光斑区域的粗略用户提供的提示，应用所提出的阴影提取方法来进行光斑去除。Talvala等人[27]通过选择性地合成由静态相机拍摄的多张图像来阻止对光斑有贡献的光线。Koreban等人[16]根据所提出的光斑形成模型对两帧进行选择性处理，以减轻光斑效应。Zhang等人[32]提出了一种光斑形成模型，通过将图像分解为场景层和光斑层来去除图像中的光斑。其他方法[2,4,28]使用两阶段过程首先估计光斑区域，然后通过基于示例的修复来重建该区域。上述所有工作都基于手工制作的特征，受到其假设的限制，在复杂场景中的不同光斑模式上无法很好地工作。0基于深度学习的方法。最近，基于深度学习的方法在各种低级视觉任务上取得了巨大成功，如去雨 [29]，去阴影 [21,9]和去反射 [17,6]。据我们所知，只有一种基于深度学习的方法用于SIFR。吴等人[31]提出了一种用于去除光晕伪影的U-Net架构。由于它基于合成方法生成配对的训练数据，因此不适用于真实世界的数据。相比之下，我们提出了一种新的学习框架，通过未配对的数据学习去除光晕伪影。尽管以前的工作如Mask-ShadowGAN [10]和RR-GAN [33]提出了训练0.00.20.40.60.81.00.00.20.40.60.81.04%68%11%5%6%6%0%20%40%60%80%100%01234>=541790FG模块0LSD模块0FD模块0FR模块0FG模块0LSD模块0FD模块0LSD模块0FD模块0FR模块0LSD模块0（a）从光晕图像学习（b）从无光晕图像学习0光源掩码 光源掩码0输入光晕图像 生成的无光晕图像 重建0光晕掩码 光晕掩码0输入无光晕图像 生成的光晕图像 重建0光源掩码 光源掩码0光晕掩码0光源损失0光晕损失0光源损失0对抗损失0对抗损失0重建损失0重建损失0图2.我们提出的用于单幅图像光晕去除的光源引导学习框架。它包括光源检测（LSD）模块，光晕检测（FD）模块，光晕去除模块（FR）和光晕生成（FG）模块。这些模块不需要配对数据，可以从真实的光晕图像（a）或无光晕图像（b）中学习。我们还引入了两个鉴别器用于生成的无光晕和光晕图像。0阴影去除和雨水去除任务通过学习两个域之间的未配对数据的底层映射来进行，它们只学习预测一个掩码来指示要去除的区域。与阴影去除和雨水去除任务不同，光晕去除任务存在一个强烈的干扰因素，即光源。虽然光源区域和光晕区域非常相似，但只有光晕区域应该被去除。在我们的方法中，我们同时预测光源掩码和光晕掩码，以明确建模光源区域和光晕区域之间的关系，这在SIFR中以前没有被探索过。03.未配对光晕去除（UFR）数据集0据我们所知，目前还没有公开可用的去除光晕的数据集。创建一个大规模的图像光晕对数据集可能非常具有挑战性。通常情况下，光晕和无光晕的图像对应应该在保持场景照明不变的情况下进行拍摄。对于每个场景，我们需要手动调整相机参数，直到获得光晕图像，然后使用预防措施去除这些光晕，得到无光晕的图像。这样的操作既繁琐又耗时，使得收集大量具有多种场景的图像变得非常困难。此外，训练对可能会因环境光照或硬件设备的变化而导致颜色和曝光不一致。相比之下，我们的框架不需要用于训练的像素级对应的配对数据。相反，它仅从未配对的有光晕和无光晕的图像中进行学习。0（b）光源数量0（a）光源位置0图3.非配对闪光去除数据集的统计信息，包括光源位置的分布（a）和图像中光源数量（b）。SIFR。为了增加图像的多样性，我们按照以下准则构建数据集：0•场景。我们选择涵盖各种日常生活场景的图像，例如街道、花园、客厅和开放空间。0•光源。图像应包含不同类型的光源（例如太阳、天花板灯、街灯等），具有不同数量、形状和位置。0•照明。图像应在不同的照明条件下拍摄，包括户外（日出/日落）和室内（白天/夜晚）。0为了创建这个数据集，我们最初从互联网（例如Google和Flickr）收集了约3000张闪光和无闪光图像。然后我们邀请一位摄影师根据上述准则帮助筛选这些图像。特别是，我们要求摄影师仔细检查无闪光图像，确保它们没有闪光。Lsfl =∥M sfl − ˆM sff∥1,(1)Ladvfl= Ex∼pfake(x)[(Dff(x) − 1)2].(2)41800一些闪光可能不容易观察到。最终，我们的非配对数据集包含了996张闪光图像和672张无闪光图像，涵盖了各种真实场景。图3显示了我们数据集的一些统计信息。我们计算概率图以显示图像中光源位置的分布。我们可以看到大多数光源出现在图像的顶部附近。04.我们的方法0给定一张单个闪光图像Ifl作为输入，我们的目标是学习一个函数f，去除闪光伪影并生成无闪光图像Iff =f(Ifl)。关键思想是利用光源的潜在线索来引导SIFR任务。图2显示了我们提出的框架的整体架构。它包括光源检测（LSD）模块、闪光检测（FD）模块、闪光去除（FR）模块和闪光生成（FG）模块。在训练过程中，我们重复使用这些模块，从真实闪光图像或带有提出的约束条件的无闪光图像中进行学习。在推理过程中，我们只需要使用FD模块和FR模块进行SIFR任务。04.1.架构0光源检测（LSD）模块。LSD模块旨在检测输入图像中的光源，并输出光源掩码。它采用编码器-解码器架构。我们首先通过四个卷积层从输入图像中提取特征。然后将图像特征输入解码器，输出光源掩码。解码器由两个反卷积层和三个卷积层组成。闪光检测（FD）模块。FD模块旨在检测输入闪光图像中的闪光区域，并输出闪光掩码。它与LSD模块具有相同的架构。光源掩码和闪光掩码都是二值图。闪光去除（FR）模块。FR模块旨在去除输入图像中的闪光伪影，并输出无闪光图像。它以闪光图像和预测的闪光掩码的串联作为输入，总共有四个通道。它是一个具有中间残差块的编码器-解码器架构。它包括三个卷积操作，接着是九个残差块。无闪光图像由两个反卷积块和一个最终卷积层生成。尽管大多数闪光图像中通常存在光源，但有些情况下它们中没有光源出现。值得注意的是，我们的模块仍然可以通过从我们的数据集中学习语义特征来去除这些情况下的闪光伪影。闪光生成（FG）模块。给定一个无闪光图像，FG模块旨在在其上生成闪光，输出闪光图像。它的输入是无闪光图像和光源掩码的串联。它与LSD模块具有相同的架构。0与 FR模块具有相同的架构。用户还可以提供一个光源掩模来指示光源的位置和形状。FG模块将根据提供的光源掩模生成相应的耀斑图像。鉴别器。为了确保生成合理的结果，我们在网络中引入了两个额外的鉴别器。我们使用一个无耀斑鉴别器 D ff来区分生成的无耀斑图像和真实的无耀斑图像，使用一个耀斑鉴别器 D �来区分生成的耀斑图像和真实的耀斑图像。我们采用PatchGAN [12] 的架构设计来设计 D ff 和 D � 的鉴别器。04.2. 从耀斑图像中学习0如图 2 (a) 所示，给定输入的耀斑图像 I � ，LSD模块首先预测一个表示光源区域的掩模 M s � ，而 FD模块预测另一个表示图像中耀斑区域的掩模 M f �。然后，我们将预测的耀斑掩模 M s � 和输入的耀斑图像 I �连接并通过 FR 模块，得到无耀斑图像 ˆ I ff。由于光源区域有时可能与耀斑区域相似，光源可以很容易地被视为耀斑并被去除[31]。为了避免这个问题，我们通过光源损失明确强制执行输入的耀斑图像和生成的无耀斑图像之间的光源掩模一致性。具体而言，我们将输入的耀斑图像和生成的无耀斑图像分别传递给 LSD模块。我们应用光源损失来衡量两个预测的光源掩模之间的逐像素差异：0其中 M s � 是来自输入的耀斑图像 I � 的光源掩模，ˆ M s ff是来自生成的无耀斑图像 ˆ I ff的光源掩模。为了减小生成图像和真实无耀斑图像之间的差距，我们使用对抗损失[19]优化以下目标：0D ff 的损失定义为：0L D ff  =  E x � p fake ( x ) [( D ff ( x )) 2 ] +  E y � p real ( y) [( D ff ( y )  −  1) 2 ] . (3)此外，为了避免生成图像上的任何伪影[12]，我们将生成的无耀斑图像转换回输入的耀斑图像，并强制执行循环一致性约束。具体而言，我们使用掩模 M s �作为指示光源区域的指导，将 M s � 与生成的无耀斑图像 ˆ Iff 连接起来作为输入，通过 FG 模块重建耀斑图像 ˆ I �。我们应用耀斑Lffl =∥M ffl − ˆM ffl ∥1.(4)Lcyclefl=∥Ifl − ˆIfl∥1 + ∥φ(Ifl) − φ(ˆIfl)∥1,(5)Lfl = w1Lsfl + w2Ladvfl+ w3Lffl + w4Lcyclefl,(6)41810损失和重构损失来鼓励内容和耀斑区域相同。耀斑损失用于衡量输入的耀斑图像 I � 的预测耀斑掩模 M f � 与重建图像 ˆ I �的新耀斑掩模 ˆ M f � 之间的逐像素差异：0重构损失衡量了预测的 ˆ I � 与真实的 I �在图像和特征空间中的差异：0其中 φ 是 VGG-19 [26] 的“conv53”层的特征图。总之，当从耀斑图像中学习时，总损失 L �为：0其中 w 1 ， w 2 ， w 3 和 w 4 是损失权重。04.3. 从无耀斑图像中学习0我们的框架还以相反的方向进行训练，从无耀斑图像中学习。如图 2 (b) 所示，给定一个真实的无耀斑图像 I ff，我们首先使用 LSD 模块预测光源掩模 M s ff。然后，我们将 M s ff 和 I ff 连接并通过 FG模块生成耀斑图像 ˆ I � 。我们还应用类似的对抗损失 L advff 来优化 FD模块。这使得生成的耀斑图像更接近真实的耀斑图像：0Ladvff = Ex�pfake(x)[(Df(x) − 1)2]. (7)0为了强制执行循环一致性约束，我们使用FD模块通过将生成的耀斑图像ˆIfl作为输入来预测耀斑掩模ˆMfl。然后我们将ˆMfl和ˆIfl连接起来，并将其发送到FR模块中生成重建的无耀斑图像ˆIff。我们应用重建损失Lcycleff来强制预测ˆIff和真值Iff在图像空间和特征空间上相同：0Lcycleff = ∥Iff − ˆIff∥1 + ∥φ(Iff) − φ(ˆIff)∥1，(8)0其中φ是VGG-19[26]的“conv53”层的特征图。此外，我们采用LSD模块从ˆIff生成光源掩模ˆMsff，然后使用光源损失来避免从图像中移除光源：0Lsff = ∥Msff − ˆMsff∥1. (9)0总结起来，当从无耀斑图像中学习时，总损失Lff为：0Lff = w5Ladvff + w6Lsff + w7Lcycleff，(10)0其中w5、w6和w7是损失权重。0输入图像 Chabert等人[4] CycleGAN[34] 我们的方法0PSNR ↑ 16.35 16.63 18.68 21.57 SSIM ↑ 0.718 0.723 0.775 0.8120表1. 提出方法与之前工作的定量比较。最佳结果以粗体标记。04.4. 实现细节0所提出的模型是在PyTorch框架下实现的。第4.1节介绍了详细的网络架构。在训练过程中，我们首先通过学习无耀斑图像来预训练模块。具体而言，我们生成随机的光源掩模作为FG模块的输入，并作为光源检测的真值。然后我们重复使用这些模块来学习真实的耀斑图像或者带有所提出约束的无耀斑图像。输入图像被调整为512×512的大小，并以随机方式进行缩放或水平翻转。我们的网络参数以0.02的标准差从零均值的高斯分布中随机初始化。我们采用Adam求解器[13]以β1=0.5和β2=0.9999进行网络优化。我们经验性地将所有损失权重设置为1。初始学习率设为0.0002，并在每100个epoch后衰减0.1。在每次迭代中，FR模块、FG模块和判别器的参数交替更新[8]。在测试阶段，图像也被调整为512×512的分辨率进行网络推断。05. 实验0在本节中，我们首先介绍实验设置（第5.1节）。然后我们通过定量和定性的方式将我们的结果与现有方法进行比较，并通过用户研究评估我们生成的无耀斑图像的质量（第5.2节）。我们还进行了彻底的消融研究，分析了所提出模型的组成部分（第5.3节）。最后，我们展示了我们的模型如何应用于耀斑效果的操作（第5.4节）。05.1. 实验设置0基准数据集。为了有效评估我们的模型性能，我们使用SONYA6100捕捉了一组真实世界的耀斑图像和对应的无耀斑图像作为基准数据集。具体而言，我们首先在三脚架上拍摄一张有强光源的图像。然后我们添加镜头罩来阻挡一些光线，以避免耀斑伪影的产生。此外，我们还从互联网上收集了一些耀斑图像和无耀斑图像对，以增加数据集的多样性和图像对的数量。最终，我们得到了一个包含102对耀斑图像和无耀斑图像的基准数据集。0基准方法。我们将我们的方法与传统的耀斑去除方法[4]进行比较，该方法首先检测耀斑41820输入我们的真实值Chabert等人[4]CycGAN[34]0图4. 提出方法与之前的工作的定性比较。第一行和最后一行是输入和真实的无耀斑图像。0斑点区域，然后以修复的方式去除伪影。我们还将我们的方法与CycleGAN[34]进行比较，它是一个使用非配对数据的通用图像到图像转换框架。我们使用我们的训练数据集重新训练模型，使其能够将输入的耀斑图像映射到输出的无耀斑图像，就像我们的模型一样。据我们所知，只有一种基于深度学习的方法[31]用于SIFR，使用配对的训练数据。不幸的是，他们的配对数据集和代码尚未公开。为了与这项工作进行比较，我们展示了视觉结果，并通过在他们的图像上运行我们的模型进行用户研究。0评估指标。为了定量比较，我们计算预测的无耀斑图像与真实的无耀斑图像之间的PSNR和SSIM指标，以评估我们结果的性能。05.2. 与现有方法的比较0定量评估。我们在我们的基准测试上进行了定量实验。表1比较了我们模型与基线方法的性能。0与基线方法的性能比较。我们的方法在PSNR和SSIM指标上都明显优于所有基线方法。这表明我们的方法可以有效地去除图像中的耀斑，即使它只是在非配对数据上进行训练。0定性评估。图5显示了我们模型与基线方法以及相应的真实值的一些定性结果。从结果中我们可以看出，我们的方法在所有情况下都优于其他方法，并且更准确、彻底地去除了耀斑伪影。Chabert等人只能去除图像中的耀斑斑点，并且有时无法完全去除斑点伪影区域。例如，在第一列中，图像中仍然存在耀斑斑点伪影。检测的准确性对最终的去除性能有显著影响。相比之下，我们的模型可以很好地检测和去除不同类型的耀斑伪影。总的来说，由于网络学习到了多样的耀斑伪影，CycleGAN的性能优于Chabert等人。41830输入吴等人[31]我们的0图5. 提出方法与基于深度学习的SIFR方法[31]的视觉比较。0在训练过程中。然而，它可能无法去除一些图像中的大型耀斑斑点（例如，第二和第四列）。另一方面，它可能会误认为其他图像中的一部分光源是耀斑并将其去除（例如，第三和第六列），尤其是当存在多个光源时。相比之下，由于明确的光源引导，我们的方法可以很好地区分光源区域和耀斑区域，并且因此可以准确地去除所有这些示例中的耀斑。值得注意的是，并非所有的耀斑图像都包含光源（例如，第七列）。我们的方法仍然可以从不包含任何光源的图像中去除耀斑伪影。0我们还将我们的模型与基于深度学习的SIFR方法[31]进行视觉比较。图5显示了一些结果。我们可以看到，尽管我们的模型只是在非配对数据上进行训练，但我们的结果与他们在配对数据上训练的结果相比仍然表现出色。例如，在第一列中，我们仍然可以看到树干周围未去除的耀斑条纹，而我们的方法成功地去除了大部分这些条纹。所有这些结果表明，我们在非配对数据上训练的方法在SIFR任务中表现良好。0用户研究。我们进一步进行用户研究来评估我们结果的质量。我们首先将我们的方法与Chabert等人[4]和CycleGAN[34]进行比较。我们从基准数据集中随机选择了20张耀斑图像。我们将上述方法应用于这些耀斑图像以生成相应的无耀斑图像。每次，参与者在左侧看到一个耀斑图像，在右侧看到两个基线方法和我们的方法生成的三个无耀斑图像。0PSNR ↑ SSIM ↑0无无光晕 19.21 0.7880无LSD模块 19.12 0.783 无FD模块 19.88 0.795无LSD模块和FD模块 18.71 0.7780无光源损失 19.37 0.791 无光晕损失 20.62 0.801无对抗损失 20.19 0.797 无循环 18.95 0.7810我们的方法 21.57 0.8120表2. 消融研究结果。最佳结果以粗体显示。0以随机顺序展示。参与者被要求为最佳无光晕结果投票。我们总共招募了19名参与者进行此实验。最终，我们的结果在74.3%的投票中排名第一，CycleGAN在23.6%的投票中排名第二，Chabert等人在2.1%的投票中排名第三。这表明我们的结果大多数时候都受到参与者的青睐，再次证实了我们的模型相对于基线方法的卓越性能。0然后，我们使用Wu等人的方法[30]和[30]中的48张图像来比较我们的方法和基线方法。我们在与上述段落中描述的相同设置下进行用户研究。最终，我们的结果在43.6%的投票中排名第一，[30]在39.5%的投票中排名第二，CycleGAN在15.1%的投票中排名第三，Chabert等人在1.8%的投票中排名第四。这进一步表明我们的方法更受欢迎。05.3. 消融研究0为了研究我们的框架设计的有效性，我们创建了以下用于评估的消融变体：0•无无光晕。我们在训练模型时不使用无光晕的训练图像。0•无LSD模块。我们从模型中移除LSD模块，即在光晕效果去除和生成中移除光源引导。0•无FD模块。我们从模型中移除FD模块，仅依靠FR模块来去除光晕伪影。0• 无LSD模块和FD模块，即没有明确检测光源和光晕。0•无光源损失。我们在训练模型时不使用光源损失，这意味着光源约束没有被明确强制执行。0• 无光晕损失。我们在训练模型时不使用光晕损失。0• 无对抗损失。我们在训练模型时不使用对抗损失。0• 无循环。我们在训练模型时不使用重构损失。41840输入 我们的方法0图6.光晕效果操作。给定一张输入图像，我们的方法能够根据光源掩码生成不同的光晕效果，光源掩码指示了光源的形状、位置和大小。0表2显示了消融研究的结果。我们可以看到，当训练模型时不使用无光晕图像时，性能下降。这表明光晕图像和无光晕图像都可以帮助改善SIFR的性能。我们观察到，在没有LSD和FD模块的情况下，网络在所有消融模型中表现最差。在两个消融版本之间进行比较，没有LSD模块的性能下降比没有FD模块的性能下降更大。这表明利用光源感知引导可以极大地提高SIFR的性能。然而，由于移除了FD模块，性能也下降，进一步证实了在光晕去除之前明确检测光晕区域的优势。此外，当训练网络时不使用光源损失、光晕损失、对抗损失或重构损失时，性能会下降。这表明将额外的引导信息纳入SIFR任务是有益的。05.4. 光晕效果操作0我们进一步展示了我们的模型在光晕效果操作方面的适用性。镜头光晕可以以各种形式出现在图像中，包括斑点、条纹或彩色光晕。了解镜头光晕可以帮助我们以不同的方式操作图像，即在图像中添加或去除光晕效果。尽管光晕伪影在许多图像中是不可取的，但一些电影导演或摄影师故意使用光晕作为特殊效果[14]来增强图像的艺术意义[11]。类似光晕的效果还可以通过指示非常明亮的光源的存在来增加感知的真实性。图6展示了这个应用。给定一张输入的无光晕图像，我们使用我们网络中的FG模块生成一个光晕图像。如前所述，FG模块的输入是一张图像和一个光源掩码。在这个应用中，光源掩码可以从任何0输入 我们的 输入 我们的0图7.失败案例。我们的模型可能在一些具有极强光源的图像上失败，光晕伪影遍布整个图像。0通过LSD模块（即自动模式）或用户提供的方式（即交互模式）对输入图像进行处理。图6的第一行显示了一个日落场景的输入图像，太阳是光源。中间的光晕图像是使用FD模块自动检测到的光源掩模（其左侧的缩略图）生成的，而右侧的光晕图像是使用用户提供的具有更大太阳的不同掩模（其左侧的缩略图）生成的。我们的方法能够在两种情况下生成不同且合理的光晕。图6的第二行显示了一个没有明显光源的输入图像。通过使用用户提供的具有太阳的光源掩模，如中间的图像（缩略图）所示，我们的方法可以生成一个合理的光晕图像。我们还尝试使用一个空白的光源掩模，如右侧的图像（缩略图）所示。我们的模型仍然可以生成一个合理的光晕图像。通过这个实验，我们证明了通过我们的框架训练的FG模块可以用于向图像添加光晕，并且合成光晕的外观可以通过调整光源掩模来操作。06. 结论0在本文中，我们首次尝试利用光源引导来解决SIFR问题。我们的关键思想是考虑光源区域与光晕区域之间的潜在关系，该关系是通过新的循环一致性约束从非配对数据中学习得到的。此外，我们构建了第一个非配对的光晕和无光晕图像数据集，涵盖了各种场景。广泛的定性和定量结果表明，我们的方法在基线方法上实现了更好的性能。最后，我们还证明了我们的模型可以应用于光晕效果的操作。尽管我们的方法在不同类型的光晕场景中表现良好，但在一些具有极强光源强度且光晕伪影遍布整个图像的具有挑战性的场景中可能会失败，如图7所示。在这种情况下，我们的模型很难区分光晕伪影和光源。解决这个问题的一个可能的方法是将光晕表示从二进制掩模更改为alpha遮罩，以融入适当的视觉信息。作为未来的工作，我们希望研究更多类型的极端光晕伪影。7141850参考文献0[1] 理解镜头光晕。https://photographylife.com/what-is-ghosting-and-flare，2020年。10[2] C.S. Asha，Sooraj Kumar Bhat，Deepa Nayak和ChaithraBhat。自动去除闪光灯光源下图像的亮点。在DISCOVER中，2019年。20[3] Paul A. Boynton和Edward F.Kelley。用于测量高对比度图像的液体填充相机。在驾驶舱显示X上。国际光学与光子学学会，2003年。20[4] Floris Chabert。自动镜头光晕去除。2015年。1，2，50[5] Antonio Criminisi，Patrick P´erez和KentaroToyama。基于样本的图像修复中的区域填充和对象去除。IEEETIP，2004年。20[6] Zheng Dong，Ke Xu，Yin Yang，Hujun Bao，WeiweiXu和Rynson WHLau。基于位置感知的单幅图像反射去除。在ICCV中，2021年。20[7] K. Faulkner, C.J. Kotre和M.Louka。X射线图像增强器产生的图像的遮蔽光去卷积。在图像处理及其应用国际会议上，1989年。20[8] Ian J. Goodfellow，Jean Pouget-Abadie，MehdiMirza，Bing Xu，David Warde-Farley，Sherjil Ozair，AaronCourville和YoshuaBengio。生成对抗网络。在NeurIPS中，2014年。50[9] 胡晓伟，傅志荣，朱磊，秦静和Pheng-AnnHeng。面向方向的空间上下文特征用于阴影检测和去除。IEEETPAMI，2019年。20[10] 胡晓伟，姜一通，傅志荣和Pheng-AnnHeng。Mask-shadowgan：学习从非配对数据中去除阴影。在ICCV，2019年。20[11] Matthias Hullin，Elmar Eisemann，Hans-PeterSeidel和Sungkil Lee。基于物理的实时镜头光晕渲染。在ACMTOG。2011年。80[12] Phillip Isola，Jun-Yan Zhu，Tinghui Zhou和Alexei AEfros。带条件对抗网络的图像到图像转换。在CVPR，2017年。40[13] Diederik P. Kingma和JimmyBa。Adam：一种随机优化方法。在ICLR，2015年。50[14] John Knoll。Knoll light factory。Red Giant Software。8[15] Hideki Kondo，Yasuhiro Chiba和TakashiYoshida。摄影系统中的遮光。光学工程，1982年。20[16] Fima Koreban和Yoav YSchechner。通过去除光晕来几何化。在ICCP，页1-8，2009年。20[17] Chao Li，Yixiao Yang，Kun He，Stephen Lin和John EHopcroft。通过级联细化进行单图像反射去除。在CVPR，2020年。20[18] H. Angus Macleod。薄膜光学滤波器。2017年。2 [19]Xudong Mao，Qing Li，Haoran Xie，Raymond YK Lau，ZhenWang和Stephen PaulSmolley。最小二乘生成对抗网络。在ICCV，2017年。40[20] Andreas Nussberger，Helmut Grabner和Luc VanGool。来自空中平台的稳健航空物体跟踪。IEEE航空航天和电子系统杂志，2016年。10[21] 李良琼，田建东，何胜峰，唐彦东和Rynson WHLau。Deshadownet：用于去除阴影的多上下文嵌入深度网络。在CVPR，2017年。20[22] Ramesh Raskar，Amit Agrawal，Cyrus Wilson和AshokVeeraraghavan。光晕感知摄影：用于减少相机镜头光晕效果的4D射线采样。ACM TOG，2008年。1，20[23] Sidney Ray。应用摄影光学。Routledge，2002年。0[24] Dikpal Reddy和AshokVeeraraghavan。镜头光晕和镜头光晕。计算机视觉：参考指南，2014年。10[25] J. Anthony Seibert，O. Nalcioglu和W.Roeck。通过数学去卷积技术去除图像增强器遮光。医学物理学，1985年。20[26] Karen Simonyan和AndrewZisserman。用于大规模图像识别的非常深的卷积网络。在ICLR，2014年。50[27] Eino-Ville Talvala，Andrew Adams，MarkHorowitz和Marc Levoy。高动态范围成像中的遮光。ACMTOG，2007年。20[28] Patricia Vitoria和ColomaBallester。自动检测和去除照片中的光斑伪影。数学成像与视觉杂志，2019年。20[29]魏伟，孟德宇，赵倩，徐宗本和吴颖。半监督迁移学习用于图像去雨。在CVPR，2019年。20[30] Tai-Pang Wu和Chi-KeungTang。用于从单个图像中提取阴影的贝叶斯方法。在ICCV，2005年。1，2，70[31] 吴一成，何秋瑞，薛天帆，Rahul Garg，陈佳文，AshokVeeraraghavan和Jonathan Barron。单图像镜头光晕去除。arXiv2011.12485，2020年。1，2，4，6，70[32]郑张，冯华军，徐志海，李琦和陈跃庭。单图像遮光去除。现代光学杂志，2018年。20[33] 朱洪源，彭曦，周天一，杨松帆，VijayChanderasekh，李立元和Joo-HweeLim。单图像去雨带非配对信息：可微分编程视角。在AAAI，2019年。20[34] Jun-Yan Zhu，Taesung Park，Phillip Isola和Alexei AEfros。使用循环一致的对抗网络进行非配对图像到图像转换。在ICCV，2017年。2，5，6，7