1756PSENet：用于无监督极光图像增强的越南越南{v.huent88，v.diepttn147，v.khoindm，v.rangnhm} @ vinai.io摘要照明的极端（例如太多或太少的光）通常会给机器和人类视觉带来许多麻烦。许多最近的作品主要集中在曝光不足的情况下，图像往往被捕获，输入ZeroDCEAfifi等人我们地面实况低光条件（例如，夜间），并取得了提高图像质量的良好效果。然而，它们不如处理过度曝光下的图像。为了减轻这种限制，我们提出了一种新的非监督增强框架，该框架对各种光照条件都是鲁棒的，同时不需要任何曝光良好的图像来作为地面实况。我们的主要概念是从多个源图像中合成伪地面实况图像我们广泛的实验表明，所提出的方法始终优于当前国家的最先进的unsupervised同行在几个公共数据集方面的定量指标 和 定 性 结 果 。 我 们 的 代 码 可 以 在https://github.com/VinAIResearch/PSENet-Image-Enhancement上找到。1. 介绍产生具有高对比度、生动色彩和丰富细节的图像是摄影的重要目标之一。然而，由于恶劣的照明条件，包括由背光照明引起的极端低照明或不平衡的照明条件，由此产生的曝光不足/曝光过度的图像通常不仅会降低人类的满意度，还会降低计算机视觉系统在几个下游任务（如物体检测[31]或图像分割[35]）上的性能。错误的曝光问题发生在捕捉过程的早期，一旦最终的8位图像被渲染，就很难修复这是因为相机内图像信号处理器通常使用高度非线性运算来生成最终的8位标准RGB图像[26，12，27]。图1.在过度曝光的场景下进行视觉对比。除了Afifi等人最近提出的工作外，大多数以前的最先进的方法都未能恢复过度暴露的情况。[1]，在全面监督下接受培训。许多最近的工作主要集中在曝光不足的情况下，图像往往是在低光条件下捕获（例如，夜间）。这些工作已经取得了令人鼓舞的结果，即使在极端低光条件下捕获的图像的质量。然而，他们未能处理过度曝光图像，如图1A所示。1. Afifiet al. [1]在改善曝光不足和曝光过度的情况方面取得了令人印象深刻的结果。然而，他们提出的方法被设计为以监督的方式工作，需要大量的错误曝光的数据集和相应的地面实况（GT）曝光良好的图像对。这种数据收集通常是耗时且昂贵的。在本文中，我们提出了一种新的无监督的方法，不需要任何曝光良好的GT图像。其核心思想是在输入错误曝光图像的情况下生成伪GT图像，以训练增强网络。通过选择从多个源取得的视觉上最好的区域，即来自先前时期的相同输入图像的输出选择标准是曝光度、局部对比度和色彩饱和度，这些标准由人类对视觉良好图像的认识驱动，并且已被证明在测量感知图像质量方面是有效的[23]。以这种方式，生成伪GT图像的任务是简单地比较和确定伪GT图像。PSNR：23.96SSIM：0.847峰值信噪比：21.42SSIM：0.817峰值信噪比：9.95SSIM：0.513峰值信噪比：13.63SSIM：0.7131757从不同来源中选择最佳区域，在训练中模拟所有可能的暴露情况。此外，通过使用前一个历元的输出作为选择的来源，我们确保当前历元的输出将优于或至少等于前一个历元的输出，给出了我们的方法的名称PSENet我们的贡献总结如下：• 我们介绍了一种新的方法来产生有效的伪GT图像从给定的错误曝光的图像。生成过程由反映视觉良好图像的人类评价的新的非参考分数驱动。• 我们提出了一种新的无监督渐进伪GT为基础的方法，是强大的各种严重的照明条件下，即。曝光不足和曝光过度。结果，消除了收集匹配图像对的负担。• 综合实验表明，我们的方法在SICE [3]和Afifi上的性能明显优于以前的[1] 数据集，并获得与监督同行可比的结果。2. 相关工作图像增强方法可以分为两类：传统的和基于学习的方法。传统方法。最简单和最快的方法之一是通过诸如线性函数、伽马函数或对数函数的数学函数来变换输入图像的单个像素。例如，基于直方图均衡化的算法使用累积分布函数扩展图像另一方面，Retinex理论[16]认为图像由两个组成部分组成：反射率和照度。通过估计图像的照明分量，可以容易地调整图像的动态范围，以再现具有更好颜色对比度的图像。然而，大多数Retinex算法使用高斯卷积来估计照度，从而导致边缘模糊[38]。相比之下，基于频域的方法通过使用高通滤波器来增强傅立叶变换域中的高频分量来保留边缘[36]。然而，这种传统方法的适应性往往是有限的，由于他们的整体和局部复杂的灰度分布的图像的意识[38]。对于传统方法的系统综述，我们建议读者参考Wang等人的工作。[38]第30段。学习方法。近年来，基于学习的照片增强方法在监督和无监督两种方式下受到越来越多的关注。监督学习方法旨在恢复自然的记忆，通过直接输出高质量图像[21，22，19，40]或学习参数模型的特定参数（例如，Retinex模型）[6，37，24]。SID [5]是第一个方向的典型示例。在这项工作中，作者收集了短曝光低光图像数据集，并采用了vanilla Unet架构[32]从原始数据中生成增强的sRGB图像，从而取代了传统的图像处理管道。在这项工作之后，Lamba和Mitra [14]提出了一种新颖的网络架构，该架构可以同时处理图像的所有比例，并且可以将延迟时间减少30%，而不会降低图像质量。与前面提到的方法不同，Caiet al. [3]探索一个新的方向，其中既考虑了曝光不足和过度的图像。他们引入了一种新的两阶段框架，在他们自己的多次曝光图像数据集上训练，在第二阶段细化整个图像之前，分别Afifi等人[1]通过引入较大的数据集以及由粗到细的神经网络，在这个方向上迈出了进一步的一步，以增强曝光不足和曝光过度情况下的图像质量。为了学习参数模型，经常采用Retinex理论[15][39，18，37]。受益于成对数据，作者专注于设计网络来估计输入图像的反射率和照度。以不同的方式处理图像增强任务，HDRNet [6]提出了一种新的卷积神经网络，使用输入/输出图像对预测双边空间中局部仿射模型的系数无监督学习收集成对的训练数据总是耗时且昂贵。为了解决这个问题，在[10]中提出了一种名为EnlightenGAN的非配对GAN方法该网络，包括一个注意力引导的U-Net作为一个生成器和全局-局部判别器，显示出有希望的结果，即使相应的地面真理图像是缺席的。为了进一步降低收集参考地面实况图像的成本，提出了一组不需要配对或未配对训练数据的方法[42，44，8，17]。在这类名为ZeroDCE [8]和Zheng和Gupta [43]的方法中，最近的两种方法通过使用在一组无参考损失函数下训练的CNN模型来学习用于产生高质量输出图像的图像特定曲线，在低光图像增强任务中显示了令人印象深刻的结果然而，这些方法似乎表现不佳时，扩展到纠正过度曝光的图像，如图所示。1.一、相比之下，我们提出的方法是第一个以无监督方式处理这些极端光照条件的深度3. 方法给定sRGB图像I，在低对比度和褪色的苛刻光照条件下捕获，我们的1758…更明亮的参考较暗参考输入图像图像=1图片2012= +1输出图像从以前的时代参考图像发生器伪GT图像生成器伪GT图像增强网络���= 1 − 1 −������输入图像伽马映射输出图像重建损失总变异损失前向路径后向路径图2.我们建议的框架概述，该框架包括三个主要模块：参考图像生成器、伪GT图像生成器和增强网络。给定输入图像I，参考图像生成器随机生成具有不同曝光值的多个参考图像，其中一半的参考图像比输入图像亮，而其余的参考图像比输入图像暗。伪GT图像生成器然后将输入图像、来自先前时期的输出图像和所生成的参考图像作为输入以基于我们提出的非参考评分标准产生伪GT图像T，伪GT图像T在视觉上优于单独的输入分量中的每一个。最后，增强网络预测伽马图γ以变换原始图像I以获得输出图像Y。增强网络用两个损失函数训练：在一些实施例中，输出图像Y与伪GT图像T之间的重构损失以及应用于预测伽马图γ的总变化损失以暗示预测中的平滑性。值得注意的是，在测试中仅使用了增强网络。该方法旨在重建相应的增强图像Y，其在对比度和颜色方面明显更好并且视觉上令人愉快，而无需任何监督。为了解决这个问题，我们的主要贡献是提出了一种新的自监督学习策略来训练图像增强网络。也就是说，我们随机合成一组参考图像，将其组合在一起，以产生用于训练的合成高质量GT图像。组合的方式是由人类对图像视觉效果有多好的认识所驱动的据我们所知，我们的无监督方法是第一个产生伪GT图像的训练在一个大的曝光不良图像集;而其他数据合成方法使用曝光良好的图像作为GT来生成相应的曝光不良的输入。通过使用这种方法，我们的模型不会遭受域间隙问题。与图像融合相比，它只产生一个单一的输出图像作为输入，我们的伪GT图像在每个时期后都得到了逐步改善，使我们的模型适应广泛的照明条件（见第二节）。4为经验证据）。详细地，我们的参考图像生成器首先将图像作为输入，并生成2N个图像，其中前N个图像与原始输入图像相比较暗，其余图像较亮。然后，伪GT生成器模块使用这些参考图像以及增强网络的输入和值得注意的是，包括根据我们提出的非参考分数，参考集合中的先前预测确保伪GT图像的质量大于或至少等于先前预测，从而使我们的训练逐步改进。我们的培训框架如图所示。图2中所示的模块，并且每个模块的细节将在以下部分中描述。3.1. 随机参考图像生成为了合成曝光不足/过度曝光的图像，我们采用了伽马映射函数，这是一种非线性操作，通常用于调整图像处理流水线中图像的整体亮度[29]。伽马映射函数基于人眼感知到光的相对变化遵循幂律函数而不是像相机中那样的线性函数的观察结果[13]。伽马映射函数与人类视觉系统之间的联系使伽马映射函数能够广泛用于图像对比度增强[7，30，34]。然而，不是将伽马函数直接应用于原始图像，而是采用雾度去除技术，在该技术中，我们将其应用于反转图像以生成2N个参考图像Yn，如等式（1）所示。（一）.原因是模糊图像和较差的照明图像通常具有低动态范围与高噪声水平的相同特性。因此，雾度去除技术（例如，使用逆图像）可以用于增强1759∼−∼局部对比度是片px，y的所有像素I（u，v）1C（x，y）=K×Ku，v∈px，y I（u，v）−µpxyΣ2（三）输入伽马映射反伽玛映射像素的颜色饱和度测量其鲜艳度。我们使用HSV颜色空间中的饱和度通道来测量像素的颜色饱和度。在这个色彩空间里，图3.Gamma和反Gamma映射的输出后者的产量明显优于前者。光线差的图像。当采用负图像时，我们发现图像的对比度可以更容易地提高，从而产生视觉上更令人愉快的图像，如图1所3.第三章。此外，我们提出的函数也具有与著名的数学图像处理模型LIP [11]相同的形式，该模型已被物理和人类视觉系统证明，从而使我们的映射函数在理论上更加合理。Yn=1−（1−I）γn，（1）定量定义为：S（x，y）=max（R，G，B）−min（R，G，B），（4）max（R，G，B）其中R、G、B对应于像素（x，y）的红色、绿色和蓝色值。由于好看的输出图像是具有低曝光度值良好但对比度和饱和度值高，我们通过如下从所有参考图像Yn中选择最佳区域来获得最终伪GT图像TT（x，y）=Yn（x，y）其中γn是一个随机数，其对数值n= argmaxn =1，…2N+2Cn（x，y）Sn（x，y）（5）.En（x，y）X n=log（γ n）采样如下：X n U（0，3）表示曝光不足的参考图像，X n U（2，0）表示曝光过度的参考图像。3.2. 伪真实图像发生器为了创建伪GT图像，我们比较并组合2N个生成的参考图像、原始图像和前一时期相同图像的增强网络的输出我们的方法背后的想法受到曝光融合[23]的先前工作的启发，其中在参考图像序列上计算每个像素的一组感知质量测量。这些测量可以编码所需的属性，如亮度，对比度和饱和度，并已显示其有效性，在生成一个高品质的高动态范围（HDR）图像从曝光序列。因此，在本文中，我们采用了高层次的概念，这些测量，但提出了一个新的配方为每个术语和一种新的方式将这些条款结合在一起，以产生伪GT图像。像素的曝光良好性估计像素属于曝光良好区域的可能性。我们使用局部区域的平均强度值与良好曝光水平之间的L1距离，其被设置为0.5。因此，像素的良好曝光度被定义为：值得注意的是，我们使用最终得分的方式这与[23]中的完全不同。在[23]中，最终得分图被用作加权和中的权重，以将参考图像组合在一起，以便获得伪GT图像。相比之下，我们使用最终得分图作为图像比较工具来从参考图像中选择最佳区域。3.3. 图像增强网络与[8]类似，我们的网络将学习预测色调映射函数的中间参数，而不是直接预测输出图像。我们基于UNet架构[32]设计轻量级增强网络网络体系结构的详细信息见Supp. 材料为了与参考图像生成模块一致，在Sec. 3.1用于在给定预测伽马图γ和原始图像I的情况下产生最终图像YY=1−（1 − I）γ。（六）然后，我们端到端地训练我们的模型，以最小化以下损失函数：L=Lrec+αLtv，（7）1760×E（x，y）=. µ pxy− 0。五、 、（二）其中Lrec L电视是重建损失和其中pxy是以（x，y）为中心的面片K K，µpxy是其平均强度值。在本文中，我们设置K = 25。变化损失，并且α是平衡两种损失的系数17613硬件电视×3硬件CC重建损失。我们采用网络预测和伪GT图像之间的均方误差如下：Zheng 和 Gupta [43]. 我 们 还 包 括 两 种 监 督 方 法 ：HDRNet [6]，Afifi等人。[1]仅供参考这些方法的结果是通过使用其公共源代码与推荐的页面复制的。L记录=1 ΣΣYˆ(c,x, y)−T(c,x, y)Σ2,(8)半径。c，x，y其中c是颜色通道，Y是输出图像，T是我们在Sec中生成的伪GT图像。3.2;H和W分别是输入图像的高度和宽度总变异损失。在均匀区域中，adjectiongamma值应该是相似的，以避免可能产生视觉伪影的突然变化。因此，我们在图像恢复任务之前将熟悉的平滑度（称为总变差最小化[33，25]）应用于预测的总变化损失定义在等式中。（九）L=1 {|γ（x+1，y）−γ（x，y）|+c，x，y客观图像质量评估。 我们收养了两个斯坦-标准参考指标：峰值信噪比（PSNR）和结构相似性指数度量（SSIM）在地面实况图像在测试集中可用的情况下（仅用于评估目的）。为了查看我们的方法在每种类型的照明条件下的有效性，我们还报告了Afifi数据集的照明相关子集的度量分数[1]，其中包括3，543张过度曝光图像和2，362张曝光不足图像。表1报告了每种方法在Afifi、SICE和LOL数据集上获得的定量结果。在Afifi数据集上，我们的方法优于所有最先进的未配对模型EnlightenGAN [10]和无监督模型ZeroDCE [8]和ZeroDCE++ [17]，具有显著余量（PSNR和SSIM指标分别为+5和+0.1|}，（9）|},(9)其中γc是对应于颜色通道c的预测伽马值。4. 实验数据集。我们在两个主要的多次曝光数据集上评估我们的方法以及比较方法：Afifi（由Afifi et al. [1])[3]数据集。Afifi数据集包含从MIT-Adobe FiveK数据集[2]通过改变其数字曝光设置渲染的24，330个sRGB图像。SICE数据集有两个部分1和2，分别包含360和229个多重曝光序列（以不同曝光水平捕获的同一场景的图像集）。我们使用第1部分作为训练集，第2部分作为测试集。对于泛化评估，我们还在LOL数据集上测试了所有方法[39]，该数据集由500对低光和正常图像组成。实作详细数据。我们在NVIDIA A100 GPU上训练图像增强网络，使用Adam优化器，批量大小为64。 在SICE数据集中，我们的模型使用140个epoch进行训练，而训练Afifi数据集的epoch是30。学习率是5e-4，在耐心为5的平台上减少一半所有输入图像在训练期间被调整大小为256 256。总变异损失系数α根据经验选择每个数据集的训练和其他实现细节，并在Supp. 材料4.1. 与之前工作的我们将我们的方法与两种传统方法进行比较：CLAHE [28]，IAGCWD [4]，一种非配对方法Enlight-enGAN [10]和两种无监督方法：ZeroDCE [8]，在SICE数据集上，我们的方法也超过了SICE数据集上的所有其他无监督方法，具有较大的余量（PSNR和SSIM指标分别为+3和+0.02）。与监督方法相比，令人惊讶的是，所提出的方法获得了比HDRNet [6]和Afifi等人更好的结果。[1]在SSIM指数中。我们进一步评估了LOL数据集的所有方法的泛化能力。在这个实验中，我们报告了在SICE数据集上训练的所有方法的结果，而无需进一步调整。可以在Tab中看到。1，可以观察到相同的趋势，其中我们优于所有无监督和未配对的方法，并且表现略差于监督模型HDRNet [6]。然而，HDRNet [6]倾向于产生具有视觉伪影的输出图像，将在下一节中展示。主观图像质量评估。图1给出了典型曝光不足和曝光过度场景下的无监督方法之间的视觉比较。4.我们的模型是唯一一个同时适用于曝光不足和曝光过度的模型 。 在 曝 光 不 足 的 情 况 下 ， CLAHE [28] 和EnlightenGAN [10]无法将图像变亮到适当的水平，而ZeroDCE [8]往往会产生颜色褪色的图像。关于过度曝光的情况，只有CLAHE似乎产生一个体面的输出图像，而ZeroDCE和EnlightenGAN似乎未能恢复图像与其他监督方法的视觉比较也示于图1。5.如前所述，尽管HDRNet [6]在大多数情况下都实现了最佳的PSNR和SSIM分数，但它通常会产生带有可见伪影的输出图像（如图所示）。（五）。用户研究。为了更有说服力的评估，我们还进行了一项用户研究，有260名参与者，来自1762方法AfifiSICELOL下超过充分PSNRSSIMPSNRSSIMPSNRSSIMPSNRSSIMPSNRSSIM人类发展报告网（S）19.350.81720.650.84620.130.83417.250.68317.290.766Afifi等人（S）18.880.84519.050.85018.980.848----CLAHE（N）16.670.78018.190.80617.580.79613.890.61010.020.427IAGCWD（N）13.230.68117.990.82016.080.76514.090.63511.260.519ZeroDCE（U）15.360.78311.850.73913.250.75714.280.65714.160.654Zheng和Gupta（U）16.690.80611.580.72613.620.75812.540.62614.890.675EnlightenGAN（U*）14.280.75214.050.76614.140.76214.600.68012.320.596PSENet（U）18.820.85819.720.87519.360.86917.740.70416.600.693表1. SICE、Afifi和LOL数据集上的结果。越高越好。最佳结果以粗体显示。术语“不足”和“过度”代表曝光不足和曝光过度子集。术语“N”、“U”、“U*”、“S”分别代表非学习、无监督、无配对和有监督。所有方法都使用相同的训练集进行训练，但监督级别不同。由于Matlab许可证问题，我们无法训练和评估Afifi等人的性能。在SICE和LOL数据集上请注意，HDRNet [6]和Afifiet al.的方法[1]都是监督方法（灰色淡出，仅供参考）。输入CLAHE EnlightenGAN ZeroDCE我们的方法Ground truth图4.与无监督和传统方法的视觉比较。在曝光不足的情况下，CLAHE [28]和Enlighten-GAN [10]无法将图像变亮到适当的水平，而ZeroDCE [8]往往会产生颜色褪色的图像。至于过度曝光的图像，只有CLAHE似乎产生了可接受的输出，而ZeroDCE和EnlightenGAN似乎无法在这种情况下恢复图像输入我们的方法Ground truth图5.与监督方法的视觉比较（放在红框中）。虽然HDRNet[6]在大多数情况下都实现了最佳的PSNR和SSIM分数，但它通常会产生带有可见伪影的输出图像。测试集来评估人类对增强结果的偏好。在100个场景中，随机选择30个场景以显示给每个参与者，并且对于每个场景，呈现我们的增强图像以及另一个图像，这是随机方法的结果。我们认为，一次显示两种方法的结果比显示所有八种方法的结果并要求用户对所有方法进行排名或仅选择最佳方法前者是容易出错的，因为用户需要排名对-图6.用户研究的结果-其他与我们的。蓝色显示其他方法的偏好百分比，而橙色显示我们的。wiseC（8，2）=28次。如果我们的不是最好的，后者就不是信息性的。我们限制了抽样方法，以确保所有方法在用户响应中均匀出现。然后要求参与者根据以下三个标准在每对图像中挑选一个更好的图像：（1）图像中的所有部分是否清晰可见;(2) 结果是否会引入任何颜色偏差;以及(3) 根据自己的喜好选择更好的图像。的详细Afifi等人HDRNet以我们的EnlightenGAN0.360.64郑和0.260.74ZeroDCE0.250.75Afifi等人0.470.53HDRNet0.160.84IAGCWD0.280.72CLAHE0.300.701763±±0.080.060.040.0200 255075 100 125方法PSNRZeroDCE 14.28ZeroDCE +我们的伪GT 15.30EnlightenGAN 14.60EnlightenGAN +我们的伪GT 15.34表2.我们的伪GT生成器对Ze- roDCE [8]和EnlightenGAN [10]对SICE数据集的影响。我们图7.在有和没有PTS的两个连续时期的伪GT图像之间的均方误差（MSE）。伪GT上一个epoch的输出该方法还提高了这两个网络10.750.50.2500 20 40 60 80 100 120图9.平均PSNR，SSIM（与提供的GT im相比）时期130世纪第六十第九十年龄），以及我们提出的伪GT的图像质量分数图8.训练时从前一个时期输出的伪GT图像和模型的示例。注意，对于epoch 1，前一epoch中的输出等同于输入图像。对于最初的几个时期，伪GT是不稳定的，由于其依赖于参考图像生成器的随机性。然而，随着模型输出质量的在训练时期（x轴）上。参考图像，由于伪GT图像趋于收敛，输入没有你，与陈伟霆到PTS。此外，除了一些哈希区域之外，我们模型在这些时期的输出非常接近伪GT，这为我们的模型在后期训练阶段提供了有用的注意力。我们的方法与其他方法的比较见图1。6.可以看出，我们的增强图像在所有情况下都是首选的，包括监督和无监督方法，只有Afifi等人。的方法[1]有一个较好的比例，这是相对可比的我们。HDRNet [6]在我们的用户研究中不太理想，因为它们的输出图像令人不快。4.2. 消融研究在本节中，我们进行实验，分析我们的方法的稳定性和我们提出的框架的不同组件的影响。其他实验相关的超参数选择中提出的补充。材料训练稳定性。由于我们的方法依赖于随机参考图像生成器来产生伪GT图像，因此可能会引起这样的担忧，即该随机因素是否会影响我们模型的性能。为了回答这个问题，我们用不同的随机种子重新训练了我们的模型10次。 SICE上的平均性能为十七岁69 0。PSNR为11，704 0. 0013在SSIM表明，我们的方法是稳定的，无论随机抽样。这种稳定性是通过渐进式训练策略（PTS）实现的。图7、与PTS、MSE之间图10.总变差损失的影响。在没有损失的情况下，相邻区域的伽马值不是那么平滑，从而破坏图像结构。两个连续的伪GT随着训练时期的数量增加而减小，这表明PTS确保了训练的收敛性和稳定性。这一假设也在图中得到8. 因此，我们的模型的最终性能也变得更好，大约为+1。5 + 0 02的PNSR和SSIM与常规训练方法进行比较。伪GT发生器对其它增强网络的影响。我们通过用ZeroDCE [8]和EnlightenGAN [10]中提出的网络替换我们的增强网络来分析我们的伪GT生成器的影响，并在SICE数据集上重新训练这些模型。如表中所示。2，使用我们提出的生成器显着提高了这两个网络在SICE数据集上的整体性能（PSNR为+1）。定性结果见附录。 材料我们提出的质量分数与伪GT图像和参考GT图像之间的相似性之间的相关性我们进行额外的实验，以评估我们提出的质量分数和伪GT图像和参考GT图像的PSNR和SSIM度量测量的相似性之间的相关性结果见图13。9表明，我们的质量分数是一个有效的测量图像质量没有GT图像。递进培养W/O渐进式培训我们的质量评分PSNRSSIM1764×#面：12#面：10#face：6#face：2表3.运行时间（RT）、参数数（#Params）和乘法累加运算数总变异损失的贡献。我们还展示了在图中没有总变差损失的情况下训练的增强网络的结果。10.如果没有这种损失，我们的模型往往会打破相邻区域之间的关系，从而打破图像结构。0.80.70.60.50.40.30.20.10电话：+86-510 - 8888888传真：+86-510 - 8888888伽马4.3. 计算成本比较我们评估了我们的模型和其他方法的计算成本，并在Tab中报告结果。3.运行时间是在Tesla T4 GPU上通过处理50张大小为1080 720的图像来测量的。乘法累加运算（MAC）的数量正如我们所看到的，我们的方法是最快的和极其轻量级的，使其非常适合于实时应用。5. 应用在本节中，我们进行实验，以评估我们的方法在面部检测任务的有效性，无论是在曝光不足和过度的情况下。据我们所知，没有公开的人脸数据集包含足够的来自暴露不足和过度暴露的样本以进行验证。因此，我们通过生成具有不同伽马值的新图像，从FDDB数据集[9]合成创建新的人脸数据集。Dual ShotFace Detector（DSFD）[20]在WIDER FACE数据集上训练[41]被用作预先训练的人脸检测器。更具体地说，我们将几种不同的图像增强方法增强的图像馈送到预先训练好的人脸检测器，并观察其性能变化。图图11描绘了当假阳性样本的数量等于500时的真阳性率，其由FDDB数据集[9]中提供的评估工具计算可以看出，使用我们的图像增强器，DSFD [20]在太暗（低伽马值）和太亮（高伽马值）的图像上一致地实现了更好的度量分数同时，其他方法如ZeroDCE [8]、Zheng和Gupta [43]和EnlightenGAN [10]在过度曝光情况下表现不佳，导致面部检测性能下降。这证明了我们的方法在各种光照条件下的鲁棒性。我们还提出了DFSD的输出两个真实的图像，其中我们的模型被用作图中的预处理模块。12. 可以看出，我们的模型可以恢复图像图11. FDDB数据集上不同伽马值的假阳性样本数量等于500时的真阳性率[9]。输入增强图像图12.对预处理前后的图像的检测模型的输出进行了分析。#face表示DFSD成功检测到的面部数量。在极暗或过亮的区域中，面部检测器的性能得到改善。6. 结论我们已经引入了一种新颖的渐进式自增强网络PSENet用于图像增强，其对各种严重的照明条件（包括曝光不足和曝光过度）是鲁棒的特别是，我们已经开发了一种新的方法，用于生成有效的伪GT图像，以无监督的方式训练我们的极端光增强网络。结果，消除了收集匹配照片的负担。我们广泛的实验表明，所提出的方法始终优于以前的无监督的方法，大幅度的几个公共数据集，并获得了与监督同行可比的结果。我们还证明了优越的性能PSENet在所有其他方法中的应用程序中的面部检测在曝光不足和曝光过度的设置。这些结果证明了PSENet不仅在取悦人类视觉方面而且在改善机器感知方面的重要性。PSENetCLAHEZheng和GuptaZeroDCEHDRNet输入IAGCWDAfifi等人EnlightenGAN真阳性率方法RT（ms）#参数GMAC数量EnlightenGAN94.388,636,675197.11ZeroDCE37.8779,41661.59郑和古普塔36.8610,5617.834我们的方法20.0815,2511.8041765引用[1] MahmoudAfifi，KonstantinosG.Derpanis，BjoérnOmmer，and Michael S.布朗学习多尺度照片曝光校正。在CVPR，2021年。[2] VladimirBychko vsky ， SylvainParis ， EricChan 和 Fre´doDurand。使用输入/输出图像对的数据库学习摄影全局色调调整CVPR，2011。[3] 蔡建瑞、古书航、张磊。从多曝光图像学习深度单图像对比度增强器TIP，2018年。[4] Gang Cao ， Lihui Huang ， Huawei Tian ， XianglinHuang，Yongbin Wang，and Ruicong Zhi.用改进的自适应伽玛校正增强亮度失真图像计算机电气工程，2018年。[5] Chen Chen，Qifeng Chen，Jia Xu，and Vladlen Koltun.学会在黑暗中看东西。在CVPR，2018年。[6] Mich aeülGharbi ， Ji a wenChen ， JonathanTBarron ，SamuelWHasino f f，andFre´ doDurand. 用于实时图像增强的深度双边学习TOG，2017年。[7] 许冠、苏剑、潘宏达、张志国、龚海滨。一种基于伽玛校正的图像增强方法。2009年国际计算智能与设计研讨会[8] Chunle Guo，Chongyi Li，Jichang Guo，Chen ChangeLoy，Junhui Hou，Sam Kwong，and Runmin Cong.用于弱光图像增强的零参考深度曲线估计。在CVPR，2020年。[9] Vidit Jain和Erik Learned-Miller Fddb：无约束环境下人脸检测的基准测试。技术报告，马萨诸塞大学，阿默斯特，2010年。[10] Yifan Jiang，Xinyu Gong，Ding Liu，Yu Cheng，ChenFang，Xiaohui Shen，Jianchao Yang，Pan Zhou，andZhangyang Wang.启迪：无需配对监督的深度光增强。TIP，2021年。[11] M. Alberlin和J.皮诺利对数图像处理：表示和处理传输图像的数学和物理框架。《成像与电子物理进展》，2001年。[12] Hakki Can Karaimer和Michael S Brown。用于操纵相机成像流水线的软件平台。在ECCV，2016年。[13] 莱斯特·克鲁格。费希纳和史蒂文斯：走向统一的心理物理定律。行为与脑科学，1989年。[14] Mohit Lamba和Kaushik Mitra实时恢复非常暗的图像。在CVPR，2021年。[15] E. Land和J.麦肯亮度和视网膜理论。JOSA，1971年。[16] Edwin H. Land 和 John J. 麦 肯 亮 度 和 视 网 膜 理 论 。JOSA，1971年。[17] Chongyi Li，Chunle Guo Guo，and Chen Change Loy.学习通过零参考深度曲线估计增强弱光图像在TPAMI，2021年。[18] 李 崇 义 ， 郭 继 昌 ， F. Porikli 和 Yanwei Pang 。Lightennet：一个用于弱光照图像增强的卷积神经网络。模式识别快报，2018年。[19] 李嘉倩，李俊成，方黎明，方力，张桂旭。亮度感知金字塔网络用于低光图像增强。多媒体交易，2020年。[20] Jian Li ， Yabiao Wang ， Changan Wang ， Ying Tai ，Jianjun Qian，Jian Yang，Chengjie Wang，Jilin Li，andFeiyue Huang.Dsfd：双镜头人脸检测器。在CVPR，2019年。[21] Kin Gwn Lore ， Adedotun Akintayo ， and SoumikSarkar.Ll-net：一种用于自然低光图像增强的深度自动编码器方法模式识别快报，2017年。[22] Feifan Lv，Feng Lu，Jianhua Wu，and C.林Mbllen：使用cnn的低光图像/视频增强。在BMVC，2018年。[23] 汤姆·默滕斯，简·考茨，弗兰克·范·里斯.暴露融合。2007年太平洋计算机图形学与应用会议[24] Sean Moran，Pierre Marza，Steven McDonagh，SarahParisot，and Gregory G.斯拉博Deeplpf：用于图像增强的深度局部在CVPR，2020年。[25] Michael K Ng 和 Wei Wang 。 retinex 的 全 变 差 模 型 。Journal on Imaging Sciences，2011.[26] Rang MH Nguyen和Michael S Brown。原始图像重建，结构使用自包含srgb-jpeg图像，只有64 kb的开销。在CVPR，2016年。[27] Rang MH Nguyen和Michael S Brown。原始图像重建，使用自包含IJCV，2018年。[28] Stephen M Pizer ， R Eugene Johnston ， James PEricksen，Bonnie C Yankaskas，and Keith E Muller.对比度受限自适应直方图均衡：速度和效率。生物医学计算可视化会议，1990年。[29] 查尔斯·波因顿数字视频和高清：算法和接口。爱思唯尔，2012年。[30] Shanto Rahman 、 Md Mostafijur Rahman 、 MohammadAbdullah-Al-Wadud、Golam Dastegir Al-Quaderi和Mo-hammad Shoyaib。一种用于图像增强的自适应伽玛校正方法. Journal on Image and Video Processing，2016。[31] Hazem Rashed ， Mohamed Ramzy ， Victor Vaquero ，AhmadElSallab ， GaneshSistu ， andSenthilYogamani.Fusemodnet：基于实时摄像头和激光雷达的移动物体检测，用于鲁棒的低光自动驾驶。ICCVW，2019年。[32] Olaf Ronneberger，Philipp Fischer，and Thomas Brox.U-网：用于生物医学图像分割的卷积网络在MICCAI，第234-241页[33] L. Rudin，S. Osher和E.法特米基于非线性全变分的噪声消除算法。Physica D：Nonlinear Phenomena，1992.[34] H.辛格，加-地Agrawal、A.库马尔湾，澳-地K.辛格和H.- N.李你一种新的伽玛校正方法，使用最佳限幅子均衡暗图像增强。2016年国际数字信号处理会议[35] Xin Tan，Ke Xu，Ying Cao，Yiheng Zhang，LizhuangMa，and Rynson WH Lau.使用大型真实数据集进行夜间场景解析。TIP，2021年。[36] 利维乌岛哈利？沃伊库作者/Arthur Robert Weeks同态滤波在彩色图像增强中
我的内容管理
展开
