零参考深度曲线估计：一种用于弱光图像增强的新方法

1780用于弱光图像增强Chunle Guo1，2岁 Chongyi Li1，2岁 郭继昌陈昌来3侯俊辉2邝森2丛润民41天津大学BIIT实验室2香港城市大学3南洋理工大学 北京交通大学{guochunle，lichongyi，jcguo}@ tju.edu.cnccloy@ntu.edu.sg@ cityu.edu.hkrmcong@bjtu.edu.cnhttps://li-chongyi.github.io/Proj_Zero-DCE.html/摘要本文提出了一种新的方法，零参考深度曲线估计（Zero-DCE），它制定了光增强作为一个任务的图像特定的曲线估计与深度网络。我们的方法训练了一个轻量级的深度网络DCE-Net，以估计给定图像的动态范围调整的曲线估计是专门设计的，考虑像素值范围，单调性和可微性。Zero-DCE在其对参考图像的宽松假设方面是有吸引力的它在训练期间不需要任何配对或未配对的数据。这是通过一组精心制定的非参考损失函数来实现的，这些函数隐含地测量增强质量并驱动网络的学习。我们的方法是有效的，图像增强可以通过一个直观和简单的非线性曲线映射。尽管它的简单性，我们表明，它一般- izes以及不同的照明条件。在各种基准上的大量实验表明，我们的方法在定性和定量方面优于最先进的方法。此外，我们的零DCE在黑暗中的人脸检测的潜在好处进行了讨论。1. 介绍由于不可避免的环境和/或技术限制，许多照片通常在次优光照条件下拍摄。这些问题包括环境中的光照条件不足和不平衡、物体在极端背光下的放置不正确这样的低光照片遭受损害的美学质量和不令人满意的信息传输前者影响观看者的体验，而后者导致错误的信息被传达，诸如不准确的*前两位作者对本书的贡献相当†郭继昌（jcguo@tju.edu.cn）为通讯作者。(a) 原始（b）零DCE(c)Wang等人[28]（d）EnlightenGAN [12]图1：典型低光图像的视觉比较。所提出的Zero-DCE在亮度、颜色、对比度和自然度方面实现了视觉上令人愉悦的结果，而现有方法要么无法应对极端背光，要么产生颜色伪影。与其他基于深度学习的方法相比，我们的方法是在没有任何参考图像的情况下训练的。在这项研究中，我们提出了一种新的基于深度学习的方法，零参考深度曲线估计（Zero- DCE），用于弱光图像增强。它可以应对各种照明条件，包括不均匀和照明不良的情况。而不是执行图像到图像的映射，平，我们重新制定的任务作为一个图像特定的曲线估计问题。特别地，所提出的方法采取低光图像作为输入和产生高阶曲线作为其输出。然后，这些曲线用于对输入的动态范围进行逐像素调整，以获得增强的图像。曲线估计被仔细地公式化，使得其保持增强图像的范围并且p保留相邻像素的对比度。重要的是1781是可微的，因此我们可以通过深度卷积神经网络来学习曲线的可调参数。所提出的网络是轻量级的，它可以迭代地应用于近似高阶曲线，以便更鲁棒和准确的动态范围调整。我们基于深度学习的方法的一个独特优势是零引用，即，它在训练过程中不需要任何配对或甚至不配对的数据，如现有的基于CNN的方法[28，32]和基于GAN的方法[12，38]。这是通过一组专门设计的非参考损失函数实现的，包括空间一致性损失、曝光控制损失、颜色恒定性损失和照明平滑性损失，所有这些都考虑到光增强的多个因素。我们表明，即使使用零参考训练，Zero-DCE仍然可以与其他需要配对或未配对数据进行训练的方法进行竞争。增强包括非均匀照明的低光图像的示例在图1A中示出。1.一、与最先进的方法相比，Zero-DCE在保持固有色彩和细节的同时，使图像变亮。相比之下，基于CNN的方法[28]和基于GAN的EnlightenGAN [12]都产生了下（面部）和上（橱柜）增强。我们的贡献总结如下。1) 我们提出了第一个独立于配对和非配对训练数据的弱光增强网络因此，我们的方法很好地推广到各种照明条件。2) 我们设计了一个特定于图像的曲线，它能够通过迭代应用本身来这种图像特定曲线可以在宽动态范围内有效地3) 我们展示了在没有参考图像的情况下通过任务特定的非参考损失函数训练深度图像增强模型的潜力，该函数间接评估增强质量。我们的Zero-DCE方法在定性和定量指标方面都更重要的是，它能够提高高层次的视觉任务，人脸检测，而不会造成高的计算负担。它能够处理真实的图像时间（对于640×480×3大小的图像，GPU），仅需30分钟即可完成训练。2. 相关工作常规方法。基于HE的方法通过扩展图像的动态范围来执行光增强。在全局[7，10]和局部水平[15，27]上调整图像的直方图分布。也有采用Retinex理论[13]的各种方法，该理论通常将图像分解为反射率和照度。 通常假定反射率分量在任何照明条件下都是一致的;因此，增强被公式化为照明估计问题。在Retinex理论的基础上，已经提出了几种方法。Wang等人[29]设计了一种处理非均匀光照图像时的自然度和信息保持方法; Fu等人[8]提出了一种同时估计输入图像的反射率和照度的加权变分模型; Guo等[9]首先估计粗略的照明图通过搜索RG-B通道中每个像素的最大亮度值，然后利用结构先验对粗糙光照图进行细化; Li等[19]提出了一种新的Retinex模型，该模型考虑了噪声。通过求解一个优化问题来估计光照图。与偶然改变图像直方图分布或依赖于潜在不准确的物理模型的传统方法相反这样的策略使得能够在图像上增强光而不产生不真实的伪影。Yuan和Sun [36]提出了一种自动曝光校正方法，其中通过全局优化算法估计给定图像的S形曲线，并通过曲线映射将每个分割区域推到其最佳区域。与[36]不同的是，我们的Zero-DCE是一种纯数据驱动的方法，在非参考损失函数的设计中考虑了多个光增强数据驱动方法。 数据驱动方法主要分为两个分支，即基于CNN的方法和基于GAN的方法。 大多数基于CNN的解决方案依赖于成对数据进行监督训练，因此它们是资源密集型的。通常情况下，通过自动光衰减、在数据捕获期间改变相机的设置或通过图像修饰来合成数据来自动收集例如，LL- Net [20]是在随机伽马校正的模拟数据上训练的;通过在图像采集期间改变曝光时间和ISO来收集成对的低/正常光图像的LOL数据集[ 32 ]; MIT-Adobe FiveK数据集[3]包括5，000个原始图像，每个原始图像具有由训练有素的专家生成的五个修饰图像。最近，Wanget al. [28]提出了一种通过估计光照图的曝光不足照片增强网络。这个网络是在由三位专家修改的配对数据上训练的。可以理解的是，考虑到收集足够的配对数据所涉及的高成本以及在训练深度模型时包含因子和不切实际的数据，基于配对数据的轻度增强解决方案在许多方面是不切实际的这种约束反映在基于CNN的方法的泛化能力差。人工制品和色偏是共同的-1782曲线参数图增强图像（b）第（1）款（c）第（1）款图2：（a）零DCE框架设计了一个DCE-Net来估计一组最佳拟合的光增强曲线（LE曲线），其迭代地增强给定输入图像。（b，c）具有不同调整参数α和迭代次数n的LE曲线。在（c）中，α1、α2和α3等于-1，而η等于4。在每个子图中，水平轴表示输入像素值，而垂直轴表示输出像素值。当这些方法与各种光强度的真实世界图像一起呈现时，仅生成。基于无监督GAN的方法具有消除成对数据进行训练的优点。EnlightenGAN [12]，一种基于无监督GAN的先驱方法，它使用未配对的低/正常光数据学习- s来增强低光图像。该网络通过考虑精心设计的鉴别器和损失函数进行训练。然而，无监督的基于GAN的解决方案通常需要仔细选择未配对的训练数据。本文提出的Zero-DCE方法在三个方面优于现有的数据驱动方法。首先，它探索了一种新的学习策略，一个需要零参考，因此消除了配对和非配对DA的需要，ta.其次，考虑到仔细定义的非参考损失函数的网络进行训练。这种策略允许隐式地评估输出图像质量，其结果将在网络学习中重复。第三，我们的方法效率高，成本低. 这些优点得益于我们的零参考学习框架，轻量级网络结构和有效的非参考损失函数。3. 方法我们在图中提出了零DCE的框架。二、深度曲线估计网络（DCE-Net）被设计用于在给定输入图像的情况下估计一组最佳拟合的光增强曲线（LE曲线）。然后，该框架通过迭代地应用曲线来映射输入的RGB通道的所有像素，接下来，我们将在以下章节中详细介绍Zero-DCE的关键组件，即LE曲线、DCE-Net和非参考损耗函数3.1. 光增强曲线（LE曲线）受图片编辑软件中曲线调整的启发，本文尝试设计一种曲线调整算法，该算法能够自动地将弱光图像映射到增强图像，并且曲线参数的自适应性完全依赖于输入图像。这种曲线的设计有三个目标：1）增强图像的每个像素值应在[0，1]的归一化范围内，以避免溢出截断引起的信息丢失;2) 该曲线应该是单调的，以保持相邻像素的差异（对比度）; 3）该曲线的形式应尽可能简单，并且在梯度反向传播过程中可微。为了实现这三个目标，我们设计了一条二次曲线，它可以表示为：LE（I（x）;α）=I（x）+αI（x）（1−I（x）），（1）其中x表示像素坐标，LE（I（x）;α）是给定输入I（x）的增强版本，α∈[−1，1]是可训练曲线参数，其调整LE曲线，并控制曝光水平。每个pix-el被归一化为[0，1]，并且所有操作都是逐像素的。我们分别将LE曲线应用于三个RGB通道，而不是单独应用于照明通道。三通道调整可以更好地保留固有颜色，降低过饱和的风险。我们在补充材料中报告更多细节。不同调整参数α的LE曲线图如图所示。第2段（b）分段。很明显，LE曲线符合上述三个目标。此外，LE曲线使我们能够增加或减少输入图像的动态范围。这种能力不仅有利于增强弱光区域，而且还有利于LE1=LE（I;A{R，G，B}）1LE2=LE（LE1;A{R，G，B}）2LEn=LE（LEn−1;A{R，G，B}）n输入，IA{R，G，B}1深度曲线估计网络（DCE-A{R，G，B}2（一）A{R，G，B}n………1783nnn(a) 输入（b）AR(c) 的G(d) AB(e) 结果图3：像素曲线参数映射的示例为了可视化，我们平均所有曲线参数图迭代（n= 8）并将值归一化到[0，1]的范围。 AR、AG和AB表示平均最佳拟合曲线n n nR、G和B通道的参数图。（b）、（c）和（d）中的图由热图表示去除过度曝光伪影。高阶曲线。在等式中定义的LE曲线。（1）可以迭代地应用，以实现更通用的调节，以应对具有挑战性的低光条件。具体地说，LEn （ x ） =LEn−1 （ x ） +αn LEn−1 （ x ）（1−LEn−1（x）），（二）其中，n是控制曲率的迭代次数。本文将n的值设为8，可以处理大多数情况令人满意。当量（2）可以退化为Eq.（1）当n等于1时。 图2（c）提供了一个例子，显示了具有不同α和n的高阶曲线，它们具有更强大的调节能力（即，更大的曲率）。像素曲线。高阶曲线可以在更宽的动态范围内调整图像。尽管如此，它仍然是全局调整，因为α用于所有像素。一团-AL映射倾向于过度/不足增强局部区域。为了解决这个问题，我们将α公式化为逐像素参数，即，给定输入图像的每个像素具有相应的曲线，该曲线具有最佳拟合α以调整其动态范围。因此，Eq.（2）可以重新表述为：LEn （ x ） =LEn−1 （ x ） +An （ x ） LEn−1 （ x ）（1−LEn−1（x）），（三）其中A是与giv-en图像大小相同的参数映射。这里，我们假设局部区域中的像素具有相同的强度（也具有相同的调整曲线），因此输出结果中的相邻像素仍然保持单调关系。以这种方式，逐像素高阶曲线也符合三个目标。我们给出了一个估计曲线参数的例子3.2. DCE网络学习输入图像和它之间的映射-的最佳拟合曲线参数映射，我们提出了一个深度曲线估计网络（DCE-Net）。DCE-Net的输入是低光图像，而输出是对应高阶曲线的一组逐像素曲线参数图我们采用了一个普通的CNN的七个卷积层与对称级联。每层-er由32个大小为3×3的卷积核组成，步长为1，后面是ReLU激活函数。我们发现-对打破相邻像素关系的下采样和批量归一化层进行最后一个卷积层之后是Tanh激活函数，其产生8次迭代（n= 8）的24个参数图补充资料中提供了DCE-Net的详细体系结构注意-值得注意的是，对于大小为256×256×3的输入图像，DCE-Net只有79，416个可训练参数和5.21G触发器。因此，它是轻量级的，并且可以用于计算资源有限的设备，例如移动平台。3.3. 非参考损失函数为了在DCE-Net中实现零参考学习，我们提出了一组可区分的非参考损失，使我们能够评估增强图像的质量。采用以下四种类型的损失来训练我们的DCE-Net。空间一致性丢失。空间一致性损失Lspa通过保留输入图像与其增强版本之间的相邻区域的差异来促进增强图像的空间一致性：图中三个通道的术语图。3.第三章。如图所示，不同通道的最佳拟合参数图具有类似的Lspa=1ΣKΣ（|（Yi−Yj）|−|（Ii−Ij）|）2、（4）调整趋势，但不同的值，指示弱光图像的三个通道之间的曲线参数图精确地指示不同区域的亮度（例如，墙上的两个闪光点利用拟合映射，可以通过逐像素曲线映射直接获得增强版本如图在图3（e）中，增强版本揭示暗区域中的内容并保留亮区域。1784Ki=1j∈N（i）其中K是局部区域的数量，Ω（i）是以区域i为中心的四个相邻区域（上、下、左、右）。我们将Y和I表示为增强版本和输入图像中的局部区域分别我们根据经验将局部区域的大小设置为4×4。在给定其他区域尺寸的情况下，该损耗是稳定的。1785(a) 输入（b）零DCE（c）w/oLspa（d）w/oLexp（e）w/oLcol（f）w/oLtvA图4：每个损失的贡献的消融研究（空间一致性损失Lspa、曝光控制损失Lexp、颜色恒定性损失Lcol、照明平滑性损失LtvA）。暴露控制丢失。为了抑制曝光不足/过度的区域，我们设计了一个曝光控制损失Lexp来控制曝光水平。曝光控制损失测量局部区域的平均强度值与良好曝光水平E之间的距离。我们遵循现有的实践[23，24]将E设置为RGB颜色空间中的灰度级在我们的实验中，我们将E设置为0.6，尽管我们没有发现将E设置在[0]内的性能差异。四，零。7]。损失Lexp可以表示为：4. 实验实施详情。基于CNN的模型通常使用自捕获的配对数据进行网络训练[5，17，28，30，32，33]而基于GAN的模型精心选择非配对数据[6，11，12，16，35]。为了充分发挥宽动态范围调整的能力为此，我们采用SICE数据集[4]第1部分中的360个多次曝光序列来训练所提出的L=1实验MΣM|Y k− E|、（五）k=1DCE-Net。该数据集也用作EnlightenGAN [12]中训练数据的一部分。我们将第1部分子集[4]中不同暴露水平的3，022张图像随机分为其中，M表示非重叠的局部重新的数目大小为16×16的区域，Y是增强图像中局部区域的平均强度值。颜色恒定性损失。根据灰色世界颜色恒定性假设[2]，即每个传感器通道中的颜色在整个图像上平均为灰色，我们设计了一个颜色恒定性损失来校正增强图像中的潜在颜色偏差，并建立了三个调整通道之间的关系颜色恒定性损失Lcol可以表示为：Σ两部分（2，422个图像用于训练，其余用于验证）。我们将训练图像的大小调整为512×512。我们在N-VIDIA 2080 Ti GPU上使用PyTorch实现了我们的框架。应用的批量为8每层的滤波权值用标准的零均值和0.02标准差高斯函数初始化偏差初始化为常量。我们使用带有默认参数和固定学习率1e-4的ADAM优化器进行网络优化。权重Wcol和WtvA被设置为0.5，和20，以平衡损失的规模Lcol=n（p，q）∈ε（Jp−Jq）2，ε={（R，G），（R，B），（G，B）}，（六）4.1. 消融研究我们进行了几项消融研究，以证明其中，Jp表示增强图像中p个通道的平均强度值，（p，q）表示一对通道。照明平滑度损失。为了保持相邻像素之间的单色调关系，我们添加一个每个曲线参数贴图A. 照明平滑度损失LtvA被定义为：Zero-DCE的每个组件的有效性如下。更多的定性和定量比较见补充材料。每一个损失的贡献。我们在图中展示了通过各种损失组合训练的零DCE的结果。4.第一章没有空间一致性损失的结果Lspa具有相对较低的对比度（例如，云区）比全L电视1ΣN=Σ（|阿克斯Ac|+Ac|）2，ξ ={R，G，B}，结果. 由此可见L的重要性。spa 在维护ANN Nn=1c∈N（七）输入和输入之间的相邻区域的差异增强的图像。消除曝光控制损失其中N是迭代次数，x和y分别表示水平和垂直梯度操作全损。总损失可以表示为：Ltotal=Lspa+Lexp+WcolLcol+WtvALtvA，（8）其中Wcol和WtvA是损失的权重Lexp无法恢复弱光区域。 颜色严重当颜色恒定性损失Lcol被丢弃时，出现铸件当应用曲线映射时，此变体忽略三个通道之间的关系最后，去除光照平滑度损失LtvA阻碍了相邻区域之间的相关性，导致明显的伪影。参数设置的影响。 我们评估的效果1786(a)输入（b）3-32-8（c）7-16-8(d)7-32-1（e）7-32-8（f）7-32-16图5：参数设置影响的消融研究l-f-n 表示所提出的具有l个卷积层、每个层（除了最后一层）的f个特征图和n次迭代的零DCE。Zero-DCE中的参数，包括DCE-Net的深度和宽度以及迭代次数。一个愿景-所有的例子都在图中。五、在图5（b）中，只有三个卷积层，Zero-DCE3−32−8已经可以产生令人满意的结果，表明零参考学习的有效性 Zero-DCE7−32−8和Zero-DCE7−32−16产生最令人愉悦的视觉效果，自然曝光和适当的对比度。通过减少数量，如图所示，在Zero-DCE 7−32−1上观察到性能明显下降。第5段（d）分段。这是因为仅具有单次迭代的曲线具有有限的调整能力。这表明在我们的方法中需要高阶曲线我们选择Zero-DCE7−32−8作为最终的模型，考虑到它在以下方面的良好权衡，效率和恢复性能。训练数据的影响。为了测试训练数据的影响，我们在不同的数据集上重新训练Zero-DCE：1）原始训练集中的2，422个图像中仅有900个低光图像（Zero-DCELow），2）DARK FACE数据集[ 37 ]中提供的9，000个未标记的低光图像（Zero-DCE LargeL），以及3）来自SICE数据集[ 4 ]中Part 1和Part 2子集的数据增强组合的4800个多次曝光图像（Zero-DCE LargeLH）。如图如图6（c）和（d）所示，在去除过度曝光的训练数据之后，Zero-DCE倾向于过度增强良好照明的区域（例如，面部），尽管使用了更多的低光图像，（即，Zero-DCELargeL）。这些结果表明了在我们的网络训练过程中使用多次曝光训练数据的合理性和必要性此外，当使用更多的多次曝光训练数据时，零DCE可以更好地恢复暗区域（即，Zero-DCE LargeLH），如图所示。6（e）。为了与其他基于深度学习的方法进行公平比较，我们使用了相当数量的训练数据，尽管更多的训练数据可以为我们的方法带来更好的视觉性能。4.2. 基准评估我们将Zero-DCE与几种最先进的方法进行了比较：三种传统方法（SRIE [8]，LIME [9]，Liet al.[19]），两 种 基 于 CNN 的 方 法 （ RetinexNet [32] ， Wangetal.[28] ） 和 一 种 基 于 GAN 的 方 法 （ Enlighten-GAN[12]）。结果是通过使用公开可用的源代码与推荐的参数再现。我们对来自以前作品的标准图像集进行定性和定量实验，包括NPE [29]（84张图像），LIME [9]（10张图像），MEF [22](17图像）、DICM [14]（64张图像）和VV图像（24张图像）。 此外，我们定量地验证了我们的方法SICE数据集[4]的第2部分子集，由229个多次曝光序列和每个多次曝光序列的相应参考图像组成。为了公平起见，我们仅使用第2部分子集[4]的低光图像进行测试，因为基线方法无法很好地处理过度曝光的图像。具体来说，我们选择前三个（分别。四个）低光图像，如果有七个（分别九）图像在一个多曝光序列和调整大小al-l图像的大小为1200×900×3。最后，我们获得了767对低光/正常光图像。我们丢弃低/正常[37]中提到的光图像数据集，因为RetinexNet [32]和EnlightenGAN [12]的训练数据集包含来自该数据集的一些图像。 请注意，在[28]中构建的最新配对训练和测试数据集不是公开的。我们没有使用MIT-AdobeFiveK数据集[3]，因为它主要不是为曝光不足的照片增强而设计的。4.2.1视觉和感知比较我们在图中展示了典型低光图像的视觉比较。7.第一次会议。对于具有挑战性的背光区域（例如，图中的脸7（a）），零DCE产生自然曝光和清晰的细节，而SRIE [8]，LIME [9]，Wang等人。[28]，而启示GAN[12]则不能清晰地恢复面容。RetinexNet [32]产生过度暴露的伪影。在以室内场景为特征的第二个示例中，我们的方法增强了暗区域，同时保留了输入图像的颜色。结果是视觉上令人愉悦的，没有明显的噪音和偏色。相反，Liet al. [19]过度平滑细节而其它基线放大噪声并且甚至产生颜色偏差（例如，墙的颜色我们进行了用户研究，以量化各种方法的主观视觉质量我们通过不同的方法处理来自图像集（NPE、LIME、MEF、DICM、VV）的低光对于每个增强的结果，我们将其显示在屏幕上，并提供输入图像作为参考。邀请总共15名人类受试者独立地对增强图像的视觉质量进行这些主题-‡https://sites.google.com/site/vonikakis/数据集1787(a) 输入（b）Zero-DCE（c）Zero-DCE低（d）Zero-DCE大L（e）Zero-DCE大LH图6：对训练数据影响的消融研究。(a) 输入（b）SRIE [8]（c）LIME [9]（d）Liet al.[19个](e)RetinexNet [32]（f）Wanget al.[28]（g）EnlightenGAN [12]（h）Zero-DCE图7：典型低光图像的视觉比较红框表示明显的差异。通过观察以下结果来训练S：1）结果是否包含过度/不足曝光的伪影或过度/不足增强的区域; 2）结果是否引入颜色去重; 3）结果是否有不自然的纹理和明显的噪声。视觉质量评分范围为1 - 5（最差至最佳质量）。每个图像集的平均主观评分报告在表1中。如表1中所总结的，Zero-DCE对于来自上述图像集的总共202个测试图像实现了最高的平均用户研究（US）分数对于MEF，DICM和VV集，我们的结果是最受欢迎的受试者。除了US评分外，我们还采用非参考感知指数（PI）[1，21，25]来评估感知质量。PI度量最初用于测量图像超分辨率中的感知质量它还被用于评估其他图像恢复任务的性能，例如图像去雾[26]。较低的PI值指示较好的感知质量。PI值也报告在表1类似于用户研究表明，所提出的Zero-DCE在平均PI值方面优于其他竞争方法。4.2.2定量比较对于全参考图像质量评估，我们采用峰值信噪比（PSNR，dB）、结构相似性（SSIM）[31]和平均绝对误差（MAE）指标来定量比较不同方法在第2部分子集上的性能[4]。在表2中，所提出的Zero-DCE在所有情况下都实现了最佳值，尽管它不使用任何配对或未配对的训练数据。Zero-DCE在计算上也很高效，得益于简单的曲线映射形式和轻量级的网络结构。表3显示了不同方法在32个大小为1200×900×3的图像上的平均运行时间§。对于常规方法，只有CPU版本的代码可用。§是在配备Nvidia GTX 2080Ti GPU和Intel I7 6700 CPU的PC上测量的，Wang等人除外。[28]，必须在GTX 1080Ti GPU上运行。1788表1：图像集（NPE、LIME、MEF、DICM、VV）的用户研究（US）↑/感知指数（PI）↓评分较高的US分数表示较好的人类主观视觉质量，而较低的PI值表示较好的感知质量。在每种情况下，最好的结果是方法NPE石灰MEFDICMVV平均SRIE [8]3.65/2.793.50/2.763.22/2.613.42/3.172.80/3.373.32/2.94石灰[9]3.78/3.05三点九五/三点零3.71/2.783.31/3.353.21/3.033.59/3.04Li等[19个]3.80/3.093.78/3.022.93/3.613.47/3.432.87/3.373.37/3.72RetinexNet [32]3.30/3.182.32/3.082.80/2.862.88/3.241.96/2.952.58/3.06Wang等人[28日]3.83/2.833.82/2.903.13/2.723.44/3.202.95/3.423.43/3.01EnlightenGAN [12]3.90/2.963.84/2.833.75/2.453.50/3.133.17/4.713.63/3.22零DCE3.81/2.843.80/2.764.13/2.433.52/3.043.24/3.333.70/2.88表2：在全参考图像质量评估指标方面的定量比较在每种情况下，最好的结果是红色，而次好的结果是蓝色。方法PSNR↑SSIM↑MAE↓SRIE [8]14.410.54127.08石灰[9]16.170.57108.12Li等[19个]15.190.54114.21RetinexNet [32]15.990.53104.81Wang等人[28日]13.520.49142.01EnlightenGAN [12]16.210.59102.78零DCE16.570.5998.78表3：运行时（RT）比较（以秒计）。最好的结果是红色，而第二好的是蓝色。方法RT平台SRIE [8]12.1865MATLAB（CPU）石灰[9]0.4914MATLAB（CPU）Li等[19个]90.7859MATLAB（CPU）RetinexNet [32]0.1200TensorFlow（GPU）Wang等人[28日]0.0210TensorFlow（GPU）EnlightenGAN [12]0.0078PyTorch（GPU）零DCE0.0025PyTorch（GPU）4.2.3黑暗中的人脸检测我们研究了弱光图像增强方法在弱光条件下人脸检测任务中的 性能。Specifically, we use the latest DARKFACE dataset [37] that composes of 10,000 images tak-en in the dark. 由于测试集的边界框不是公开的，我们对由6,000张图像组成的训练集和验证集进行了评估。使用在WIDER FACE数据集[34]上训练的最先进的深度面部检测器Dual Shot Face Detector（DSFD）[18]作为基线模型。我们将低照度图像增强方法的结果馈送到DSFD [18]，并在图11中描绘了精确度-召回率（P-R）曲线。8.此外，我们还比较了平均精度（AP），DARK FACE数据集中提供的评估工具¶[37]。¶https://github.com/Ir1d/DARKFACE_eval_tools1789图8：黑暗中人脸检测的性能。P-R曲线，AP，以及我们的Zero-DCE增强前后的两个人脸检测例子如图8、图像增强后，DSFD的分辨率[18]与使用未经增强的原始图像相比大大增加。在不同的方法中，RetinexNet [32]和Zero-DCE表现最好。这两种方法具有可比性，但Zero-DCE在高召回率区域表现更好。实验结果表明，Zero-DCE算法能够有效地提高人脸在极暗区域的亮度，并保留光照良好的区域，从而提高了人脸检测器在黑暗环境下的检测性能。5. 结论我们提出了一种用于低光图像增强的深度网络。它可以用零参考图像进行端到端训练。这是通过将低光图像增强任务公式化为图像特定曲线估计问题，并设计一组可微分的非参考损失来实现的。实验表明，我们的方法对现有的光增强方法的优越性。在未来的工作中，我们将尝试引入语义信息来解决困难的情况下，并考虑噪音的影响。鸣 谢 。 本 研 究 得 到 了 国 家 自 然 科 学 基 金 （ 61771334 ，61632018，61871342），SenseTime-NTU合作项目，新加坡MoEAcRF Tier 1（2018-T1-002-056），NTU SUG，NTU NAP，中央大学基础研究基金（2019 RC 039）、中国博士后科学基金（ 2019 M660438 ） 、 香 港 研 究 资 助 组 （ 9048123 ） （ 城 大21211518 ） 、 香 港 研 究 资 助 基 金 - 研 资 局 一 般 研 究 基 金（9042322、9042489、9042816）。原始检测增强的检测1790引用[1] 约 柴 · 布 劳 和 托 莫 · 麦 克 利 。 感 知 失 真 的 权 衡 。 在CVPR，2018年。7[2] 格申·布克斯鲍姆物体颜色感知的空间处理器模型。J.Franklin Institute，310（1）：1-26，1980. 5[3] VladimirBychko vsky ， Syl vainParis ， EricChan 和 Fre´doDurand。使用输入/输出图像对的数据库学习摄影全局色调调整CVPR，2011。二、六[4] 蔡建瑞、古书航、张磊。从多次曝光图像中学习深度单图 像 对 比 度 增 强 器 。 IEEE Transactions on ImageProcessing，27（4）：2049-2026，2018。五、六、七[5] Chen Chen，Qifeng Chen，Jia Xu，and Koltun Vladlen.学会在黑暗中看东西。 在CVPR，2018年。5[6] 陈宇生，王玉京，高万新，庄永玉。深层照片增强器：基于非配对学习的gans图像增强算法。在CVPR，2018年。5[7] Dinu Coltuc，Philippe Bolon和Jean-Marc Chassery。精确 的 直 方 图 规 格 。 IEEE Transactions on ImageProcessing，15（5）：1143-1152，2006。2[8] Xueyang Fu ， Delu Zeng ， Yue Huang ， Xiao-PingZhang，and Xinghao Ding.同时估计反射率和照度的加权变分模型。在CVPR，2016年。二、六、七、八[9] 郭晓洁，李宇，凌海滨。Lime：通过照明图估计进行低 光 图 像 增 强 。 IEEE Transactions on ImageProcessing，26（2）：982-993，2017。二、六、七、八[10] Haidi Ibrahim和Nicholas Sia Pik Kong。用于图像对比度增强的亮度保持动态直方图均衡。IEEE Transactions onConsumer Electronics，53（4）：1752-1758，2007. 2[11] Andrey Ignatov 、 Nikolay Kobyshev 、 Radu Timofte 、Kenneth Vanhoey和Luc Van Gool。Wespe：用于数码相机的弱监督照片增强器。在CVPRW，2018年。5[12] Yifan Jiang，Xinyu Gong，Ding Liu，Yu Cheng，ChenFang，Xiaohui Shen，Jianchao Yang，Pan Zhou，andZhangyang Wang. EnlightenGAN：无需配对监督的深度光增强。在CVPR，2019年。一二三五六七八[13] 埃 德 温 ·H· 兰 德 色 觉 的 视 网 膜 理 论 。 ScientificAmerican，237（6）：108-128，1977. 2[14] Chulwoo Lee Chul Lee和Chang-Su Kim基于分层差分表示的对比度增强。载于ICIP，2012年。6[15] Chulwoo Lee Chul Lee和Chang-Su Kim基于二维直方图分层差分表示的对比度增强。IEEE Transactions onImage Processing，22（12）：5372-5384，2013. 2[16] 李崇义，郭春乐，郭继昌。基于弱监督颜色迁移的水下图 像 颜 色 校 正 IEEE Signal Processing Letters ， 25（3）：323-327，2018。5[17] Chongyi Li ， Jichang Guo ， Fatih Porikli， and YanweiPang. Lightennet：一个用于弱illu的最终图像增强。Pattern Recognition Letters，104：15-22，2018。5[18] Jian Li ， Yabiao Wang ， Changan Wang ， Ying Tai ，Jianjun Qian，Jian Yang，Chengjie Wang，Jilin Li，andFeiyuen Huang. Dsfd：双镜头人脸检测器。在CVPR，2019年。8[19] Mading Li，Jiaying Liu，Wenhan Yang，Xiaoyan Sun，and Zongming Guo.通过鲁棒的retinex模型进行结构揭示的 低 光 图 像 增 强 。 IEEE Transactions on ImageProcessing，27（6）：2828-2841，2018。二、六、七、八[20] Kin Gwn Lore ， Adedotun Akintayo ， and SoumikSarkar.Ll-net：一种用于自然低光图像增强的深度自动编码器方法Pattern Recognition，61：650-662，2017. 2[21] 马超，杨致远，杨小康，杨明轩。学习用于单图像超分辨率的无参考质量度量。计算机视觉和图像理解，158：1-16，2017。7[22] Kede Ma，Kai Zeng，and Zhou Wang.多曝光图像融合的 感 知 质 量 评 价 。 IEEE Transactions on ImageProcessing，24（11）：3345-3356，2015。6[23] 汤姆·默滕斯，简·考茨，弗兰克·范·里斯.暴露融合。PCCGA，2007年。5[24] 汤姆·默滕斯，简·考茨，弗兰克·范·里斯.暴露融合：一种简单实用的高动态范围摄影方法。Computer GraphicsForum，28（1）：161- 171，2009. 5[25] Anish Mittal、Rajiv Soundararajan和Alan C.波维克制作“完全盲”图像质量分析仪。IEEE Sign-nal ProcessingLetters，20（3）：209-212，2013. 7[26] 曲燕云，陈一子，黄静颖，谢元。增强的pix2pix去雾网络。在CVPR，2019年。7[27] J·亚历克斯·斯塔克。使用直方图均衡化的泛化的自适应图 像 对 比 度 增 强 。 IEEE Transactions on ImageProcessing，9（5）：889-896，2000. 2[28] Ruixing Wang，Qing Zhang，Chi-Wing Fu，XiaoyongShen，Wei-Shi Zhen