训练神经网络去除镜头眩光的半合成方法

2239如何训练用于火炬清除的1†Qiurui He2 Tianfan Xue2 Rahul Garg2 Jiawen Chen3Ashok Veeraraghavan1 Jonathan T.巴伦21莱斯大学2谷歌研究3Adobe Inc.wuyichengg@gmail.comjiawen@adobe.comvashok@rice.edu{qiurui，tianfan，rahulgarg，barron} @ google.com摘要当相机指向强光源时，所产生的照片可能包含镜头光斑伪影。耀斑出现在各种各样的模式（晕，条纹，颜色出血，阴霾等）并且这种外观上的多样性使得去除扩口具有挑战性。现有的解析解对伪影的几何形状或亮度做出强假设，并且因此仅在耀斑的小子集上工作良好。机器学习技术已经在去除其他类型的伪影（如反射）方面显示出成功，但是由于缺乏训练数据而尚未广泛应用于光斑去除为了解决这个问题，我们明确地模拟耀斑的光学原因，无论是经验或使用波动光学，并产生半合成对耀斑损坏和干净的图像。这使我们能够训练神经网络来首次消除镜头眩光。实验表明，我们的数据合成方法对于准确去除眩光至关重要，并且使用我们的技术训练的模型在不同场景，照明条件和相机中很好地生成真实的镜头眩光1. 介绍在强光源下拍摄的照片常常会出现镜头光斑--一种由相机内无意的反射和散射引起的明显的视觉伪影。光斑伪影可能会分散注意力、减少细节并遮挡图像内容。尽管在光学设计中做出了大量努力来最小化透镜光斑，但是当由消费者相机成像时，即使是小光源也仍然可能产生大量伪影。光斑图案取决于透镜的光学器件、光源的位置、制造缺陷以及通过日常使用积累的划痕和灰尘。晶状体眩光潜在原因的多样性导致其表现的多样性。如图1所示，典型的伪影[2]这项工作是在Yicheng Wu在谷歌再搜索实习时完成的。他目前是Snap Research的研究科学家。图1.镜头光斑伪影经常出现在具有强光源的照片它们表现出广泛的形状和颜色，这使得它们难以用现有方法去除包括晕圈、条纹、亮线、饱和斑点、渗色、模糊和许多其它。这种多样性使得耀斑去除的问题极具挑战性。大多数现有的镜头光斑去除方法[1，3，21]没有考虑光斑形成的物理学，而是天真地依赖于模板匹配或强度阈值来识别和定位伪影。因此，它们只能检测并潜在地去除有限类型的耀斑，例如饱和斑点，并且在更复杂的现实世界场景中不能很好地工作。尽管深度神经网络在不断发展，但似乎还没有成功的尝试来消除基于学习的耀斑。是什么让这个问题如此困难？主要的挑战是缺乏训练数据。收集大量具有和不具有镜头光斑的完全对准的图像对在最好的情况下将是乏味的，并且在最坏的情况下是不可能的：照相机和场景需要是静态的（考虑到大多数镜头光斑发生在室外并且涉及太阳，这是一个特别困难的要求），并且需要某种机制来“切换”伪像的开和关，而不改变场景的照明。通过大量的努力，这可以通过收集在三脚架上拍摄的图像对来实现，其中摄影师在一个图像中手动地将遮光器放置在发光体和相机但这种做法太劳神了--2240这是一个非常复杂的过程，需要大量的图像来产生训练神经网络所需的数千或数百万个图像对。此外，该方法仅在引起耀斑的照明物位于相机的视场之外时才起作用图中的真实场景7），这限制了它的效用。为了克服这一挑战，我们建议根据物理学原理生成半合成数据。我们的关键观察，镜头光斑是一个附加层的基础图像的顶部，它是由散射或内反射。对于散射情况（例如，划痕、灰尘、其他缺陷），我们构建了一个波动光学模型，我们证明了接近现实。对于镜头元件之间的非预期反射，我们采用严格的数据驱动方法，因为商业相机的准确光学模型通常不可用。有了这个公式，我们能够生成一个大的和多样化的数据集的半合成耀斑损坏的图像，与地面实况耀斑免费图像配对。另一个挑战是在保持可见光源完整的同时消除耀斑。即使使用我们的半合成数据，这也是困难的，因为我们不能在不影响它诱导的耀斑的情况下将光源与仅耀斑层分离。因此，如果单纯地训练，网络将试图将光源与耀斑一起移除，从而导致不切实际的输出。为此，我们提出了一个损失函数，忽略了光源区域，和一个后处理步骤，以保持在输出中的光源。为了展示我们的数据集和程序的有效性在训练期间，我们对预测的无耀斑图像和残差（即，推断的耀斑）。在测试时，网络工程只需要一个单一的RGB图像与标准相机，并能够消除不同类型的耀斑在各种场景。虽然只在半合成数据上训练，但两个模型都很好地推广到现实世界的图像。据我们所知，这是第一个从单个图像中去除镜头光斑的通用方法我们的代码和数据集可在https://yichengwu.github.io/flare-removal/上公开获取。2. 相关工作用于火炬移除的现有解决方案分为三类：（a）旨在减轻耀斑的存在的光学设计，（b）尝试捕获后增强的纯软件方法，以及（c）捕获附加信息的硬件-软件解决方案。硬件解决方案高端相机的镜头采用复杂的光学设计和材料来减少眩光。由于每个玻璃元件被添加到复合透镜中以改善图像质量，因此还存在增加的光学性能。光从其表面反射以产生耀斑的可能性。一种广泛使用的技术是将抗反射（AR）涂层施加到透镜元件，其通过相消干涉减少内反射。然而，该涂层的厚度只能针对特定的波长和入射角进行优化，因此不能是完美的。另外，将AR涂层添加到所有光学表面是昂贵的，并且可能排除或干扰其它涂层（例如，反射涂层）。防刮擦和防指纹）。计算方法已经提出了许多后处理技术来去除耀斑。去卷积已用于去除X射线成像[6，18]或HDR摄影[16]中的耀斑。这些方法主要依赖于耀斑的点扩散函数在空间上不变化的假设其他解决方案[1，3，21]采用两阶段过程：基于透镜光斑的独特形状、位置或强度来检测透镜光斑（即，通过识别饱和区域），然后使用修复来恢复闪光区域后面的场景[4]。这些解决方案仅对有限类型的耀斑起作用（例如，亮点），并且容易将所有亮区域误分类为耀斑。另外，这些技术将每个像素分类为Hardware–software co-design Talvala 等 人 [20] Raskaret al.[15]尝试使用结构化遮挡掩模选择性地阻挡引起闪光的光，并使用直接-间接分离或基于光场的算法来恢复无闪光的场景。虽然优雅，但它们需要特殊的硬件，因此在实用性方面受到限制。基于学习的图像分解虽然不存在基于学习的耀斑去除技术，但最近的一些工作将学习应用于类似的应用，例如反射去除[5，12，23]，雨去除[14，22]和去噪[2]。这些方法试图通过训练神经网络将图像分解为他们的成功在很大程度上依赖于高质量的特定领域的训练数据集，这项工作首次尝试解决这个问题。3. 透镜光斑理想的相机在对焦时应该将来自点光源的所有光线折射并会聚到传感器上的单个点。在实践中，真实透镜沿着非预期路径散射和反射光，导致光斑伪影[10]，如图所示第2段（a）分段。散射和反射部分仅构成每一入射光2241−≈(a) 光学图(b) 样本图像多次地阻挡反射，从而导致弧形伪影。如第2，AR涂层可用于减少反射-通常将空气-玻璃界面处的反射然而，该涂层的有效性还取决于波长，因此透镜光斑可能呈现出各种色彩（通常为蓝色、紫色或粉红色）。重要的是要注意，反射光斑取决于镜头设计，因此具有相同图2. 照相机是用来聚焦来自点光源的在传感器上的一个点上（灰色射线）。然而，灰尘和划痕可能会导致散射（蓝光），导致雾和明亮的条纹此外，内部反射（橙色光线）可能发生在透镜元件（仅示出一个元件）的光学表面之间，导致盘形或弧形亮点。该反射光斑还可以具有色彩，因为抗反射涂层仅阻挡某些波长。ray.因此，虽然耀斑是无处不在的，它是在大多数照片难以察觉。但是，当强光源比场景的其余部分亮许多数量级时（例如，太阳），来自该亮光的散射和反射光线的小部分将导致图像上的其它像素处的可见伪像。来自灰尘和划痕的散射的几何形状以及多次反射的几何形状导致特征视觉图案。在高水平上，耀斑可以分为两个主要类别：散射引起的和反射引起的。散射光斑虽然理想的透镜是100%折射的，但实际的透镜具有许多导致光散射的缺陷散射（或衍射）可能是由于制造缺陷（例如，凹痕），或正常磨损（例如，灰尘和划痕）。因此，除了被折射的初级光线之外，次级光线集被散射或衍射，而不是遵循它们的预期路径。虽然灰尘增加了彩虹般的效果，但划痕会引入条纹，这些条纹看起来像是散射还可能降低光源周围区域中的对比度，导致模糊外观。反射光斑在实际的透镜系统中，每个在偶数次反射之后，射线可能在非预期位置处击中传感器，从而形成反射图案。即使我们假设光被精确地反射两次，对于包含n个光学元件（对于现代相机为n5）的透镜模块，存在2n个光学表面，并且因此存在n（2n1）个潜在的引起耀斑的组合。在图像上这些反射耀斑位于连接光源和主点的直线上。它们对光源的角度很敏感设计（例如，所有的iPhone12主相机模块）在对相同场景成像时预期产生类似的反射耀斑不同类型的耀斑通常难以在视觉上区分或分开。所观察到的耀斑的外观可以基于光源的属性（例如，位置、尺寸、强度和光谱），以及透镜的位置（例如，设计和缺陷）。由于这些原因，建立完全基于物理的算法来分析地识别和去除每种类型的耀斑是不切实际的，尤其是当多个伪影存在于同一图像中时。因此，我们提出了一种数据驱动的方法。4. 基于物理的数据生成与监督设置中的许多视觉问题不同，很难获得耀斑损坏和无耀斑图像对的数据集。因此，我们构建了一个物理上逼真的半合成管道。光的附加性质意味着我们可以将耀斑建模为“理想”图像顶部的附加伪影我们将首先解释如何散射和反射耀斑可以建模和生成，然后使用它们来合成耀斑损坏和无耀斑的图像对。4.1. 散射耀斑在薄透镜近似下，光学成像系统可以由复值光瞳函数P（u，v）表征：对于孔径平面上的每个点（u，v），Pλ（u，v）=A（u，v）·exp（iλ（u，v））.这里，A是孔径函数，光学器件的表示入射波的振幅的衰减的性质。1在其最简单的形式中，具有孔径为有限半径r具有孔径函数，.1如果u2+v2r2<0否则的发生率，如图所示。4（b），但不绕光轴旋转。耀斑1严格地说，透镜光学也可以引入相移，在这种情况下，A变成复值函数。然而，这在我们的模拟结果中显示出很小的差异，因此我们假设A是实值的。光源理想传感器散射反射A（u，v）=.（二）2242×−.(a) 脏镜头的光圈（b）模拟光斑图3. 为了模拟散射耀斑分量，我们生成一个(a) 采集装置(b) 真实耀斑具有类似缺陷的随机点和线的孔的数量（a）。然后，波动光学允许我们计算由该合成孔径成像的任何光源的图像（b）等式中的λ1描述了相移，其取决于波长以及光源的3D位置（x，y，z）。省略孔径坐标（u，v），λ可以写为：λ（x，y，z）=图4.我们在一个黑暗的房间里用强光源捕捉真实镜头光斑的图像。相机安装在再现宽范围的入射角的电动旋转台在4（b）中示出了以不同角度捕获的样本图像。其中（s，t）是图像坐标。这为位于（x，y，z）处的光源产生光斑图像。为了构建我们的散射耀斑数据集，我们随机采样孔径函数A，光源和光谱响应函数SRF（de-1）。λ λ可以在附录中找到我们进一步申请其中线性项S由入射角确定，散焦项DF取决于点 光源的深度z。一旦被完全指定，等式（1）中的瞳孔函数P就被确定1可用于通过傅里叶变换计算点扩散函数（PSF）[7]：PSF λ= |F{Pλ}|第二（四）条根据定义，其是由具有孔径函数A的相机形成的在（x，y，z）处的点光源的图像。这是我们想要的耀斑图像。采样PSF为了模拟镜头上的灰尘和划痕，我们将随机大小和透明度的点和条纹添加到等式中的简单光圈函数A中。二、由我们的程序产生的示例合成孔径如图所示。3（a），详情载于补编。我们总共生成125个不同的光圈。对于具有单个波长λ的位置（x，y，z）处的给定点光源，等式（1）中的两个相移项是相同的。3可以确定性地计算。该光源的PSF，PSFλ，因此可以通过将A和λ代入等式24.第一章为了在整个可见光谱上模拟光源，我们以5nm的间隔对从380nm到740nm的所有波长λ的PSFλ进行采样，从而在PSF的每个像素处产生73矢量。然后，将全光谱PSF左乘光谱响应函数SRF（3× 73矩阵）以导出由RGB传感器测量的PSF：光学失真（例如，桶形和枕形）来增强PSF RGB图像。最终输出的一个示例如图所示3（b）款。我们总共生成了2,000张这样的图像。4.2. 反射耀斑反射光斑分量难以通过渲染技术[9，11]来模拟然而，类似设计的透镜共享类似的内部反射路径，因此从相机的一个实例收集的数据通常很好地推广到其他类似实例。我们在实验室设置中捕获反射耀斑的图像，该实验室设置由明亮光源、可编程旋转台和具有f= 13mm镜头（35mm等效物）的固定孔径智能手机相机组成，如图所示。第4（a）段。该设置在捕获期间与环境光隔离。摄像机以编程方式旋转，以便光源跟踪（并延伸到）对角视场，从75◦到75◦。我们捕获一个HDR图像every0. 15◦，得到1，000个样本。然后使用[13]的帧插值算法将相邻的捕获插值2x，从而为我们提供2，000张图像。在训练期间，图像通过随机旋转进一步增强，因为反射光斑关于光轴旋转对称。4.3. 合成耀斑损坏的图像通过在线性空间（其中像素强度为零的预色调映射原始空间）中将仅耀斑图像F添加到无耀斑自然图像I0来生成耀斑破坏图像IF。PSFR（s，t）PSFG（s，t）=SRF PSF B（s，t）PSFλ=380nm（s，t）.PSFλ=740nm（s，t）（五）是添加剂），如图所示五、 我们还添加了随机高斯噪声，其方差从缩放的卡方分布σ2 0中每幅图像采样一次。01×2，覆盖光源相机轮境电机5°10°2243+损失⊙LL0L01∈1¨ ¨ ¨¨干净的图像耀斑耀斑损坏的图像预测预测+源=图5. 我们的方法包括三个步骤：1）我们通过随机合成无耀斑自然图像来生成训练输入，并且 耀斑图像。2)训练卷积神经网络以恢复无耀斑场景（其中光源也可能已经被移除，这是不期望的）。3)在预测之后，我们将输入光源混合回到输出图像中。我们期望看到的大范围噪音水平：IF= I0+ F + N（0，σ2）.（六）无耀斑图像I0是从[23]中的24k Flickr图像中采样的，并通过随机翻转和亮度调整进行增强。由于Flickr图像已经进行了伽马编码，因此我们通过应用逆伽马曲线来近似线性化它们，其中γ从[1]均匀采样。八二[2]因为它的确切值是未知的。仅耀斑图像F从捕获的数据集和模拟的数据集两者中采样。节中6.2，我们证明两者都是必要的。随机仿射变换（例如，缩放、平移、旋转和剪切）和白平衡作为附加的增强应用。随机化详情见补充资料。5. 重建算法给定耀斑损坏的图像IF[0，1]512×512×3，我们的目标是训练神经网络f（IF，Θ）以预测无耀斑图像IO，其中Θ是可训练的网络权重。许多网络架构可能适合我们的任务，我们评估两个流行的。有关网络架构和培训程序的更多详细信息，请参阅5.1. 损失我们只想消除由明亮光源引起的光斑但是我们的数据集中的仅耀斑图像F包含耀斑和光源两者，因为在捕获或模拟期间物理地分离这两者是不切实际的。如果我们简单地训练网络，它会试图在去除光源的情况下产生幻觉，这不是该模型的预期用途，也是对模型容量的浪费。为了防止模型修复光源后面的场景，我们在计算损失时忽略饱和像素，并假设它们是由于光源造成的。通常，饱和像素是不可恢复的，并且包含关于场景的很少信息。具体地，我们在计算损耗之前用二进制饱和掩码M修改原始网络输出f（IF，Θ）。掩模M对应于输入IF的亮度大于阈值（0. 99在我们的实验）。然后，我们应用形态学操作，使得小的饱和区域被排除在M之外，因为它们可能是场景或耀斑的一部分。 对于M内部的像素，我们用地面实况I0替换它，使得对于这样的区域2，损失为零：I0=I0⊙M+f（IF，Θ）⊙（1−M），（7）哪里表示逐元素乘法。在训练过程中，我们最小化两个损失的总和：图像损失和光斑损失：L=LI+LF。（八）图像损失I促使预测的无耀斑图像I^O在光学上和感知上都接近地面实况I。数据项是RGB值在I和I之间的L1损失。 感知项是通过预训练的VGG-19网络[19]馈送I？0和I 0来计算的。与[23]一样，我们惩罚选定特征层conv1 2、conv2 2、conv3 2、conv4 2和conv5 2处的Φ（I（0）和Φ（I 0）之间的绝对差异。总之，图像损失可以表示为：LI=I0−I0+ΣλΦ（I0）−Φ（I0）。（九）ℓ耀斑损失F促使预测的耀斑类似于地面实况耀斑F，并且用于减少预测的无耀斑图像中的伪影（第12节 ） 。 6.2 ） 。 表 达 式 为F 与 Eq 相 同 。 9 ，butwithI0andI0替换为F和F，相对于V。在这里，这个被预测的耀斑F被计算为净工作输入与净工作输入之间的差异。以及掩码网络输出：F=IF−f（IF，Θ）<$（1−M）。（十）2我们替换而不是排除被掩蔽的像素，因为在等式2中的感知损失是不可避免的。9需要完整的图像。网络共混2244(a) 输入(b)CNN输出(c)掩模Mf（d）混合图6.我们故意防止网络学习修补饱和区域（光源），因此其输出（b）在这些区域中是未定义的。为了保留高光，我们为输入的饱和区域计算掩码（c）然后，网络输出中的掩蔽区域被输入像素替换，产生更真实的最终结果（d），其中光斑被移除，但产生光斑的光源未被移除。5.2. 光源混合我们的损失明确地阻止了网络在饱和区域“学习修补”任何东西，因此它的输出可以是任意的在实践中，它往往会删除光源，使其更类似于周围的像素，如图所示。第6（b）段。由于这项工作的目标是去除耀斑，而不是光源，我们对网络输出进行后处理，以添加回光源。一个关键的观察结果是，引起耀斑的光源在输入图像中可能是饱和的（否则它将不会导致可见的耀斑）。因此，可以基于强度容易地识别它。为了创造一个渐进的过渡，我们羽化定义在Sec.5.1在其边界处构造Mf（详情和参数见补充资料）。我们混合输入和输出图像使用羽毛线性空间中的掩模（例如，图第6（d）段）：IB= IF⊙ Mf+ f（IF，Θ）⊙（1 − Mf）.（十一）6. 结果为了评估在半合成数据上训练的模型如何泛化，我们使用三种类型的测试数据：（a）具有地面实况的合成图像（第4）、（b）不具有地面实况的真实图像，以及（c）具有地面实况的真实图像为了获得（c），我们在三脚架上捕获一对图像，其中明亮的光源正好在视场之外。在一幅图像中，明亮的耀斑引起的光线可以进入晶状体，产生伪影。在另一幅图像中，我们小心地放置了一个遮挡器，也在视野之外（例如，透镜罩），在发光体和照相机之间，阻挡相同的光线。6.1. 与先前工作的我们在表1和图7中提供了定量和目视比较。为了在计算度量时消除光源的影响，掩蔽区域由遵循等式（1）的地面实况像素替换。7 .第一次会议。我们评估所有最近的工作在耀斑清除[1，3，21]。值得注意的是，他们都没有尝试一般的火炬拆除任务相反，他们使用手工制作的方法来去除一个特定的耀斑子集（例如，眩光斑点）。因此，它们对诸如反射和条纹的其他伪影几乎没有影响，并且导致PSNR和SSIM接近或甚至与输入相同。由于雾和反射是两种常见的耀斑伪影，因此我们还比较了我们数据上的去雾[8]和去反射[23]算法。对于我们的方法，我们训练了两个变体，一个使用[23]的架构，另一个使用流行的U-Net [17]。我们的方法显着优于现有的方法，并证明了我们的管道和数据集的重要性。我们在本文的其余部分使用U-Net变体，因为它的性能更好。最后，我们还对20名参与者进行了用户研究，其中向每个用户呈现具有镜头光斑的真实图像以及两个预测的无光斑图像：一个来自U-Net，另一个来自5个基线之一。然后，我们要求用户确定这两个中的哪一个在去除镜头光斑方面做得我们使用来自3个不同集合的52个图像：由与第2节中相同类型的镜头捕获的图像。图4.2、使用具有不同焦距的五个其他透镜捕获的图像以及从[3]拍摄的图像。为了避免偏差，我们在研究的每个实例中对图像进行了洗牌。如表2所示，我们的方法在所有3个数据集上的表现都优于所有其他方法。即使是在Chabert [ 3 ]的数据集上，用户也强烈喜欢我们的方法（85%对30%）。15%）。不出所料，当在我们的训练集中不存在的镜片上进行测试时，它的表现略差。综合实部法PSNR SSIMPSNR SSIM输入图像21.130.84318.570.787去除光斑[3]21.010.84018.530.782[21]第二十一话21.130.84318.570.787去除光斑[1]21.130.84318.570.787除雾[8]18.320.82917.470.745减反射[23]20.710.76722.280.822[23]第二十三话28.490.92024.210.834[17]第十七话30.370.94425.550.850表1.与相关方法在合成数据和真实数据上的定量比较。比较数据集1数据集2数据集3我们的：光斑去除率[3] 98%：2%我们的：光斑去除率[21] 98%：2%97%：3%93%：7%85%：15%89%：11%我们的：光斑去除[1] 100%：0%99%：1%88%：12%[8]第十八话96%：4%91%：9%92%：8%我们的：减反射[23]83%：17%78%：22%64%：36%平均95%：5%92%：8% 84%：16%表2. 用户喜欢我们的结果（我们的结果）的图像百分比+ U-Net）与先前的工作。数据集1使用与第2节中相同的镜片设计捕获。四点二。数据集2使用具有不同焦距的五种其他镜头类型捕获。数据集3包含来自[3]的图像。我们在所有类别中都优于现有方法，即使是在Chabert自己的数据集上2245LLLLL输入光斑去除[1]去雾[8]去反射[23] Ours + network [23] Ours + U-Net [17]地面实况图7.三个相关的方法和我们之间的视觉比较，评价合成和真实场景。使用我们的方法训练的网络可以更准确地去除镜头眩光，并产生更清晰的输出。图8.我们的方法鲁棒地去除各种形状，颜色和位置的镜头耀斑在不同的现实世界的图像。它合理地推广到多个光源（第2列）。当没有显著的耀斑（最后一列）时，输入保持不变。6.2. 消融研究在本节中，我们将研究程序中的两个关键组件，以证明它们对输出的影响。没有F没有SIM卡。 data没有捕获的数据已满峰值信噪比24.84 24.44 23.7725.550.841 0.843 0.828表3.耀斑损失和不同耀斑数据的烧蚀研究耀斑损失由于大多数耀斑比底层场景更亮，我们需要确保网络不会简单地学习使所有明亮区域变暗。我们在耀斑损失F中对此进行了明确建模。在图9中，我们显示了使用和不使用F训练的模型的测试集结果。如果没有F，网络往往会删除明亮物体的某些部分，即使它们不是耀斑的一部分。捕获和模拟耀斑数据4，我们提到捕获的数据主要占反射(a) 输入（b）无火炬损失（c）有火炬损失图9.没有我们的耀斑损失F，输入（a）中的明亮区域被错误地移除，特别是在夜间拍摄的图像（b）上。LF使得模型对这样的误差（c）更鲁棒。耀斑，而模拟数据涵盖了散射的情况下。为了证明这两个组件都是必要的，我们训练了两个消融模型，每个模型都排除了一个源。正如预期的那样，用单独从捕获的或模拟的数据集拍摄的仅耀斑图像训练的模型10个。PSNR=16.64SSIM=0.829PSNR=16.64SSIM=0.829PSNR=14.68SSIM=0.812PSNR=19.95SSIM=0.845PSNR=23.89SSIM=0.901PSNR=22.99SSIM=0.917PSNR=15.04SSIM=0.604PSNR=15.04SSIM=0.604PSNR=13.67SSIM=0.603PSNR=20.63SSIM=0.730PSNR=22.37SSIM=0.772PSNR=23.41SSIM=0.795PSNR=16.96SSIM=0.662PSNR=16.96SSIM=0.662PSNR=13.35SSIM=0.582PSNR=22.85SSIM=0.741PSNR=27.02SSIM=0.762PSNR=28.39SSIM=0.788合成场景实景二实景1输入输出2246××–美国CNN–耀斑场景耀斑场景(a)输入（b）捕获（c）模拟（d）两者图10.仅用捕获的耀斑训练的模型（b）（包含大部分反射和有限的散射耀斑）在去除条纹状散射伪影方面不太有效，而仅模拟的模型（c）不能去除反射耀斑图案。用两个数据集（d）进行训练产生了优异的结果。f=27mmf=44mm iPhone鱼眼3(a) 流水线：蓝色和红色块分别表示高分辨率和低分辨率图11.虽然我们的数据集只包含来自Android智能手机的一个摄像头（f=13mm）的真实光斑模式，但经过训练的模型可以有效地推广到手机当在完全不同的透镜设计上测试时（例如，一条鱼─眼睛无反光镜相机），该模型对反射光斑的表现不如预期的好，并且仍然设法去除散射光斑。6.3. 泛化由于我们的半合成数据集包含各种耀斑模式和场景，因此训练的模型在各种各样的场景类型中很好地泛化。如图8，输入图像包含具有不同形状、颜色和位置的耀斑该模型在大多数情况下都能产生高质量的输出.当输入图像中没有耀斑时，网络正确地执行无操作。跨摄像机如第2节所述在图4.2中，我们所有的反射光斑训练图像都来自焦距f=13mm的一个智能手机相机。我们还测试了我们的模型在其他相机设计排除在训练。如图11中，该模型仍然能够有效地减少透镜眩光，这与表2中的用户研究的发现相呼应。也就是说，模型的泛化程度是有限的。例如，该模型在使用极其不同的镜头（如鱼眼镜头）拍摄的图像上表现不佳。11，最后一栏）。这对于依赖于透镜的反射部件尤其如此，如在第2节中讨论的。四点二。领域适应截然不同的相机设计是未来工作的一个有趣的途径。3照片由Flickr用户barit /CC BY-SA提供。(b) 输入（c）低分辨率输出(d)高分辨率输出图12.由于镜头耀斑大多是低频的，我们的算法可以平凡地扩展到高分辨率的输入。如（a）所示，我们对高分辨率输入（b）进行下采样（DS），预测无耀斑图像(c) 用我们的网络（CNN），并计算耀斑作为差异。该预测的耀斑然后被上采样（US）并且从输入图像中减去以产生高分辨率无耀斑输出（d）。6.4. 高分辨率图像我们的网络在512 512张图像上进行了训练。将我们的方法应用于更高分辨率输入的简单方法是在所需的分辨率下进行训练（例如，2048 2048），这在训练和测试时间都需要16倍以上的带宽。幸运的是，我们可以利用镜头光斑主要是低频伪影的事实对于高分辨率图像，我们对输入进行双线性下采样，预测低分辨率的仅耀斑图像，将其双线性上采样回全分辨率，并将其从原始输入中减去（见图2）。第12段）。这允许以固定的低分辨率训练的网络处理高分辨率图像而没有显著的质量损失。在Xeon E5CPU上，在512 ×512下运行推理时，2048×2048输入从8s减少到0.55s。7. 结论我们介绍了一种新颖的，易处理的，物理上逼真的镜头光斑模型。通过使用原理性图像形成模型构建半合成数据生成流水线，我们能够训练卷积神经网络以从单个耀斑损坏的图像重新覆盖干净的无耀斑图像，而不需要真实的训练数据。我们的方法被证明可以在一系列的场景和相机实现准确的结果。据我们所知，这是第一个通用的镜头光斑去除技术。致谢我们感谢Sam Huynh、Chung-Po Huang、Xi Chen和Lu Gao在建立实验室方面的帮助，并感谢NSF资助IIS- 1652633和IIS-1730574的支持。DS输入输入输入输出2247引用[1] CS Asha，Sooraj Kumar Bhat，Deepa Nayak和ChaithraBhat。自动去除闪光光源下拍摄的图像中的亮点。IEEEDISCOVER，2019. 一、二、六、七[2] Tim Brooks ， Ben Mildenhall ， Tianfan Xue ， JiawenChen，Dillon Sharlet，and Jonathan T Barron.未处理图像，用于学习的原始去噪。CVPR，2019年。2[3] Floris Chabert自动晶状体光斑清除。技术报告，斯坦福大学电气工程系，2015年。一、二、六[4] AntonioCriminisi，PatrickPe'rez，和KentaroToyama. 基于样本的图像补绘的区域填充和目标去除IEEE TIP，2004年。2[5] Qingnan Fan ， Jiaolong Yang ， Gang Hua ， BaoquanChen，and David Wipf.用于单个图像反射去除和图像平滑的通用深度架构。ICCV，2017年。2[6] K·福克纳，CJ·科特雷和M·卢卡。X射线图像增强器产生的图像的杂光解卷积。1989年国际图象处理及其应用会议. 2[7] 约 瑟 夫 · 古 德 曼 。 傅 立 叶 光 学 导 论 。 Roberts andCompany Publishers，2005. 4[8] 何开明，孙建，唐晓鸥。使用暗通道前去除单个图像IEEE TPAMI，2010。六、七[9] Matthias Hullin、Elmar Eisemann、Hans-Peter Seidel和Sungkil Lee。基于物理的实时镜头光斑渲染。SIGGRAPH，2011. 4[10] 鲁道夫·金斯拉克摄影中的光学SPIE Press，1992.2[11] Sungkil Lee和Elmar Eisemann。实用的实时镜头光斑渲染。计算机图形论坛，2013年。4[12] Chao Li，Yixiao Yang，Kun He，Stephen Lin，and JohnE Hopcroft. 通过级联细化去除单个图像反射CVPR，2020年。2[13] 西蒙·尼克劳斯和凤琉。用于视频帧内插的上下文感知合成。CVPR，2018年。4[14] Rui Qian，Robby T Tan，Wenhan Yang，Jiajun Su，andJiaying Liu.用于从单个图像中去除雨滴的注意生成对抗网络。CVPR，2018年。2[15] Ramesh Raskar，Amit Agrawal，Cyrus A Wilson，andAshok Veeraraghavan.眩光感知摄影：用于减少相机镜头的眩光效应的4D光线采样。SIGGRAPH，2008年。2[16] Erik Reinhard ， Wolfgang Heidrich ， Paul Debevec ，Sumanta Pattanaik，Greg Ward，and Karol Myszkowski.高动态范围成像：采集、显示和基于图像的照明。摩根·考夫曼，2010年。2[17] Olaf Ronneberger，Philipp Fischer，and Thomas Brox.U-网：用于生物医学图像分割的卷积网络MICCAI，2015. 六、七[18] J Anthony Seibert，O Nalcioglu和W Roeck。用数学解卷积技术消除像增强器杂光。医学物理，1985年。2[19] Karen Simonyan和Andrew Zisserman用于大规模图像识别的非常深的卷积网络。ICLR，2015年。5[20] Eino-Ville Talvala，Andrew Adams，Mark Horowitz，and Marc Levoy.高动态范围成像中的杂光。ACM TOG，2007年。2[21] 帕特里夏·维多利亚和科洛马·巴列斯特自动光斑伪影检测和去除照片。数学成像和视觉杂志，2019。一、二、六[22] 魏巍、孟德宇、赵谦、徐宗本、吴英。半监督迁移学习用于图像雨去除。CVPR，2019年。2[23] Xuaner Zhang，Ren Ng，and Qifeng Chen.具有感知损失的单个图像反射分离。CVPR，2018年。二五六七