弱光图像增强的深色一致性网络

1899用于弱光图像增强的深色一致性网络赵章1，2，郑欢1，2，洪日昌1，2，徐明亮3，严水成4，王猛1，21合肥工业大学计算机科学与信息工程学院2合肥工业大学大数据知识工程教育部重点实验室&安徽省智能互联系统实验室3郑州大学信息工程学院，中国4Sea AI Lab（SAIL），新加坡摘要微光图像增强（LLIE）是研究如何改善光照条件，获得自然的正常光图像。目前的LLIE方法主要集中在改善光照度上，但没有考虑通过合理地将颜色信息引入LLIE过程中来实现颜色的一致性。因此，增强图像和地面真实图像之间通常存在色差为了解决这个问题，我们提出了一个新的深颜色一致性网络，称为DCC-Net，以保持LLIE的颜色一致性。提出了一种新具体来说，我们的DCC网络的解耦策略灰度图像加颜色直方图。采用灰度图像生成合理的结构和纹理，颜色直方图有利于保持颜色的一致性。也就是说，它们都被用来协作地完成LLIE任务。为了匹配颜色和内容特征，减小增强图像和地面真实图像之间的颜色一致性差距，我们还设计了一个新的金字塔颜色嵌入（PCE）模块，可以更好地将颜色信息嵌入LLIE过程中。在六个真实数据集上的实验表明，改进后的图像更加自然、色彩丰富，与现有的图像分割方法相比，具有更好的分割效果。1. 介绍微光图像增强（LLIE）是一种通过改善光照条件来获得自然光图像的方法，其目的是改善在弱光照环境下获取的微光图像的感知和视觉质量。低光图像在现实中相当常见，例如，在光线条件差的室外或室内场景中捕获的图像，其遭受内容不清晰的问题，RetinexNet （ 15.49/0.29 ） Zero-DCE++ （ 18.71/0.37 ）KinD++（21.84/0.75）DCC-Net（27.54/0.79） EnlightenGAN（13.66/0.50）地面实况图1.我们的DCC-Net和其他深度LLIE方法在PSNR/SSIM指标方面的比较我们清楚地看到，RetinexNet、Zero- DCE++、Kind++和EnlightenGAN的增强图像与地面实况图像之间存在很大的颜色差距相比之下，我们的DCC-Net可以有效地保持颜色一致性，增强后的图像更加自然和丰富多彩。纹理、低对比度和噪声。这些退化不仅会对人类感知产生负面影响，而且不利于后续的多媒体计算和计算机视觉任务，例如人脸识别[3]，对象检测[25]和语义分割[4]。传统的LLIE方法旨在建立一个模型来细化照明并获得增强的图像，这可以大致分为基于直方图均衡（HE）和基于视网膜的方法。传统的方法相对简单易行，但通常无法还原出一致的颜色和细节纹理。随着深度神经网络（DNN）在各种高级和低级视觉任务中的令人印象深刻的表现[5，10，31，36]，深度LLIE方法也取得了很大的改进[2，11，30]。深度LLIE方法通常设计1900深度神经网络配备不同的模块来逆转退化过程。与传统方法相比，通常会产生不良的光照和噪声，深度LLIE方法由于DNN的强大能力，可以获得更好的结果。然而，这些方法往往会生成不一致的颜色，这可以在图中看到1. RetinexNet、Zero-DCE++、Kind++和Enlight-enGAN生成的图像与地面实况之间存在明显的色差。而我们的DCC- Net的结果我们要问：是什么使增强后的图像失去色彩一致性？我们试图从两个方面来回答这个问题：1) 不同的架构。在当前的研究中，有两种常用的方法来处理LLIE任务：1）直接处理低光图像以获得正常光图像的端到端深度框架; 2）基于retinex的框架，其将图像分解成反射率和照明以用于进一步处理。这两种模式都侧重于优化照明，而忽略了颜色的一致性和自然性。因此，在增强图像中将存在颜色间隙。2) 信息不匹配。颜色直方图描述的是全局的颜色信息，不包含任何空间信息。因此，我们无法找到合适的颜色信息的特定内容的图像。因此不能直接建立颜色和内容特征之间的连接这种信息不匹配会使增强后的图像变得不自然，并且包含不一致的颜色。因此，我们提出了一种新的“分而治之”的合作策略，它可以共同保持颜色consideration和增强照明。总的来说，本文的主要贡献总结如下：• 在技术上，我们引入了一种新的策略，以保留颜色一致性LLIE，并提出了一个深颜色一致性网络称为DCC-Net，以减少增强图像和地面实况之间的色差。据我们所知，这是第一个通过直接探索颜色一致性来增强弱光图像照明的工作。实验结果表明，本文提出的DCC-Net能较好地增强光照，增强后的图像颜色更自然、一致。• 为了共同保持颜色一致性和增强光照度，DCC-Net设计了解耦策略，将彩色图像解耦为灰度图像和颜色直方图，协同完成LLIE任务我们为DCC-Net 设 计 了 三 个 子网 ， 即 ， G-Net 、 C-Net 和 R-Net，如图2所示。G-Net的目标是恢复灰度图像，提供丰富的结构和纹理信息。C-Net旨在学习颜色分布，这将有助于颜色的一致性。R-Net结合灰度图像和颜色信息来恢复正常光图像。• 为了更好地克服颜色直方图缺乏空间信息的缺点，本文还设计了一个金字塔颜色嵌入模块，该模块由六个金字塔结构的颜色嵌入子模块组成。CE可以匹配的颜色和内容的功能，根据它们之间的亲和力，使颜色信息可以动态地合并，这可以进一步减少增强图像和地面实况图像之间的颜色差距。2. 相关工作在本节中，将对传统和深度LLIE方法进行简要回顾2.1. 传统LLIE方法基于HE的方法。基于各种图像先验，基于HE的LLIE方法[17，24]专注于改变图像的动态范围以提高对比度，例如[1，17]。然而，基于HE的方法注意增强对比度，而不是直接细化照明。因此，增强的结果可能遭受增强不足或过度增强。基于Retinex的方法 这种方法[7，8，20]将图像分解为反射率和照明的像素乘积，受到retinex理论[15]的启发：S=RI，（1）其中S表示图像，R和I分别表示相应的通过进一步处理反射率和照明，可以获得增强的结果[7，8，12，13，20，27]。由于基于Retinex的方法旨在估计照明，这是手工制作的并且依赖于密集的参数调整，因此最终结果通常包含不一致的颜色和噪声。2.2. 基于深度学习的LLIE方法由于DNN的强大学习能力，深度LLIE方法通常可以优于传统方法。根据是否使用配对数据，目前的深度LLIE方法可以分为监督、无监督和半监督三类。监督的深度LLIE方法。对于监督方法，所有训练数据都是配对的。我们可以进一步将这类方法分为基于视网膜网的方法和端到端方法。基于Retinex的深度LLIE方法类似地使用深度学习来将图像合成为反射率和照明。例如，Wei等人。[30]建议1901G-netLgR-netG高的低PCEG前C预C高的高之收购前Lclr，lssim，l tvC-NetResBlock×4卷积层颜色嵌入图2.我们的DC-Net的总体框架可以看出，有三个子网：G-Net，C-Net和R-Net，其中G-Net旨在恢复具有丰富内容信息的灰度图像，C-Net专注于学习颜色分布，R-Net结合灰度图像和颜色信息来恢复自然和颜色一致的正常光图像。一 个 RetinexNet 有 两 个 阶 段 ， 其 中 第 一 个 阶 段decomposes一个图像到反射率和照明，第二个调整照明地图。Zhang等人还提出了两个基于RetinexNet的改进模型，称为KinD [35]和KinD++ [34]。与RetinexNet相比，KinD和KinD++有三个子网络，分别是分解网络、分解网络和调整网络。端到端深度LLIE方法直接处理低光图像，而不是分解图像。例如，LLNet [21]是使用深度自动编码器方法进行深度LLIE的开创性工作。由于卷积神经网络（CNN）具有很强的表示能力，Li et al.[19]进一步提出了基于CNN的深度LLIE模型。通过估计低光图像的全局内容，还开发了深度混合网络以保留增强图像中的结构细节[26]。监督方法可以实现较好的弱光照图像增强，但增强后的图像与地面真实图像的颜色一致性仍然是一个难题。无监督/半监督深度LLIE方法。实际上，同时获得配对数据是具有挑战性的或者甚至是不切实际的，即，退化和地面实况图像，同一场景。因此，无监督/半监督LLIE方法的研究，以减轻这个问题。例如，Yang et al.[32]设计了一个深度递归带网络，使用成对和不成对的低/正常光图像来获得增强的正常光图像的线性带表示Jiang等人[11]一个不平凡的人，采用生成对抗网络（GAN）作为主要框架的viewedLLIE方法。还有几种零拍摄方法，其输入仅包含低光图像[6，18，33，38]。通过使用精心设计的损失函数训练这些零拍摄模型，还可以增强输入低光图像的照度。虽然这些方法解决了LLIE问题没有或部分配对数据，增强质量通常是有限的。3. 该方法在本节中，我们将介绍DCC-Net的框架（参见图2）和细节，其旨在在获得正常光图像时保持颜色一致性和自然性。DCC-Net具有三个子网（即，G-Net、C-Net、R-Net）和一个金字塔颜色嵌入（PCE）模块。3.1. 网络结构G-Net 给定一幅低光照图像，G-Net的目标是预测正常光照图像的灰度图像，它包含丰富的结构和纹理信息，而不包含颜色信息。该过程被表述为Gpre=GNet（S低），（2）其中，G_pre表示预测灰度图像，S_low表示输入低亮度图像，并且GNet表示G-Net的变换。具体而言，G-Net采用编码器-解码器流水线，这与经典的U-Net类似[28]。1902×∈∈∈对于G-Net，我们使用l1损失来重建灰度图像：1lg=H×WG预 -G高第1章（3）其中，Ig表示灰度图像重构损失，Ghigh表示正常光图像的灰度图像，H和W表示灰度图像Ghigh的高度和宽度。因此，G-Net不考虑颜色信息，致力于恢复纹理和结构。C-Net 颜色直方图是一种颜色特征，广泛应用于图像检索系统中[9]。颜色直方图主要描述不同颜色在整个图像中所占的比例，而不关心颜色的空间在本文中，我们计算的颜色直方图在RGB颜色空间。特别地，图像的颜色直方图应该是大小为N的矩阵256、在哪里 N=3对应于三个颜色通道（即，R、G和B），并且256与像素值的范围一致设计了基于颜色直方图的C-Net，用于颜色特征学习。C-Net的目标是获得与正常光图像一致的颜色特征（见图2）。我们还利用C-Net的编码器-解码器流水线，其通过以下公式将输入的低光图像转换为预测的Cpre=CNet（S低），（4）图3.给出了金字塔颜色嵌入（PCE）和颜色嵌入（CE）模块的详细结构，其中，PCE表示逐元素乘法，CE表示逐元素加法，表示上采样操作。其中N、H和W表示正常光图像Shigh的通道号、高度和宽度。在结构级别上，我们采用ssim损失作为约束：l ssim= 1 −SSIM（S pre，S high）。其中，相似性函数SS|M（·）被描述为2µx µy+c12σxy+c2SSIM（x，y）=·，（9）µ2+µ2+c1σ2+σ2+c2其中，Cpre表示所获得的颜色直方图，并且CNet表示C-Net的计算处理。为了更好地重建颜色直方图，我们还将l1损失应用于约束C-Net，可以描述如下：x y x y其中x，yRH×W ×3表示待测的两幅图像，μx，μyR表示两幅图像的均值，σx，σyR为两幅图像对应的方差，c1和c2为两个常参数，可以预测1l=C−CC（5）使分母不为零。此外，总N×256预高1变差损失也被用作正则化项其中LC 是颜色直方图重建损失，高以保持增强图像的平滑度。是正常光图像的真实颜色直方图。请注意，颜色直方图不能描述图像中的内容和细节。也就是说，C-Net注重学习一致的颜色特征，有利于增强。R-Net R-Net以G-Net和C-Net得到的灰度图像和颜色直方图为基础，将两者结合起来，协同恢复正常光照图像。输入的低光照图像、预测的灰度图像和颜色直方图通过R-Net转换为正常光照图像，如下所示：Spre=RNet（S低，Gpre，Cpre），（6）其中Spre表示增强图像。为了在像素级重建正常光图像，我们使用彩色图像重建损失lr，其定义如下：1lr=N×H×WSpre−Shigh1，（7）3.2. 金字塔颜色嵌入（PCE）PCE模块旨在将颜色信息很好地嵌入到R-Net中，如图3所示。显然，PCE具有六个具有金字塔结构的颜色嵌入（CE）模块。具体来说，CE实现了颜色特征的动态嵌入。CE的主要组成部分是双亲和矩阵（DMA），解决了信息不匹配的问题。双亲和矩阵。从G-Net和C-Net中可以得到相应的灰度图像和颜色直方图，它们分别可以提供丰富的结构和纹理细节以及颜色信息。R-Net将这两种方法都应用于实现更好的增强。由于颜色直方图不包含空间信息，简单地将它们连接将导致增强图像中的不准确照明。此外，简单的拼接也会导致颜色信息和内容之间的不匹配，这可能在增强的图像中产生色差。PCEC1F1E1FC22E2F3C3E3F4C4E4F5C5E5F6C6E6CECECECECECECEFiCi大坝EiCi+11903∈××∈×∈∈≤··−·GT Zero−DCE++ Zero−DCE RetinexNet KinD++ KinD EnlightenGAN DCC−Net（inf/1）(inf/1）（14.64/0.44）（14.57/0.43）（12.33/0.30）（21.28/0.80）（21.57/0.82）（12.49/0.52）（24.56/0.87）（17.55/0.54）（18.21/0.53）（19.85/0.39）（21.13/0.84）（20.52/0.86）（21.20/0.64）（26.73/0.86）图4. LOL数据集上深度LLIE方法的可视化比较。为了解决信息失配问题，获得更好的颜色信息嵌入，提出了一种新的颜色嵌入模块，该模块根据颜色与内容特征之间的亲和度，动态地将颜色特征嵌入到R-Net中。提出的双亲和矩阵（DAM）的目的是计算亲和矩阵匹配的颜色和内容的功能，并进一步防止增强后的图像产生不一致的颜色。具体地，给定大小为N H W的颜色特征C和内容特征F，DAM首先计算每个位置的C和F之间的曼哈顿距离和内积，其公式如下：M（x，y）=− <$F（x，y）−C（x，y）<$1，（10）P（x，y）=F（x，y）·C（x，y），（11）其中F（x，y），C（x，y）RN表示F和C对位置（x，y）的向量，M，PRH×W是Manhattan距离矩阵和内积矩阵。然后，可以如下计算对偶仿射矩阵AA=2×sigmoid（M）×sigmoid（P），（12）其中tanh （）和sigmoid （）分别是tanh 函数和sigmoid函数 注意，对于每个位置（x，y），M（x，y）为0，因此sigmoid（M）[0，0. 5]。因此，我们使用2sigmoid（M）来确保A[0，1]的范围。颜色嵌入。CE获得颜色信息的动态嵌入，其结构在图3中给出。在获得对偶亲和矩阵A之后，CE计算A与颜色特征C的逐元素乘法。将加权的颜色特征与内容特征F相加以获得颜色信息嵌入特征：E=AC+F，（13）其中E表示在R-Net的解码器中使用的输出特征。还存在用于颜色特征C的上采样操作以改变其分辨率，并且然后进一步馈送到下一个CE作为原始颜色特征。金字塔结构。给定颜色特征，我们可以使用它们来指导增强过程以获得一致的颜色。为了充分探索颜色信息，我们呈现了包括具有金字塔结构的六个CE的PCE（参见图3）。给定来自第i个CE的颜色特征Ci和内容特征Fi，PCE在从浅到深的每一层中获得的特征描述如下：Ei，Ci+1=CE（Fi，Ci），i=1，2，···，6，（14）其中，Ei表示输出特征，CE（）表示CE的变换。Ci由第（i1）个CE计算。相比之下，Fi是从R-Net的编码器中的对应层复制的金字塔结构将颜色特征嵌入到六层中。换句话说，渐进设计可以充分利用颜色信息。结果，增强的图像将在颜色上更一致。3.3. 目标函数我们的DCC-Net的目标函数描述为ltotal = λglg + λclc + λrlr+ λslimlslim + λtvltv （十五）其中λg、λc、λr、λslim、λtv是几个权衡参数。具体地，lg和lc分别用于恢复灰度图像和颜色直方图。利用L_r和L_slim在像素级和结构级重建正常光图像LTV可以被视为正则化项以防止过拟合并保持平滑性。4. 实验在本节中，我们评估了我们的DCC-Net在几个数据集上的LLIE性能，并描述了与一些相关的深度LLIE方法的比较结果。4.1. 实验设置评估的数据集。 对于训练，我们使用LOL合成数据集和LOL真实数据集[30]。具体而言，LOL合成数据集包含1，000对合成低/正常1904表1.根据LOL数据集的PSNR、SSIM、MAE、CSE和推理时间得出评估结果，其中红色表示最佳性能，蓝色表示第二佳。方法PSNR SSIMMAE（%）CSE（比率）时间（s）RetinexNet16.820.4314.932.510.0390种20.420.829.822.300.0650零DCE16.020.5115.985.980.0026EnlightenGAN 18.320.6413.711.660.0150Zero-DCE++16.110.5315.899.590.0012KinD++20.920.808.831.150.0320DCC-Net22.720.818.721.000.0260光图像。LOL真实数据集包括485个成对的真实低/正常光图像。为了进行测试，我们使用LOL测试数据集[30]（15对图像），DICM [16]（64张图像），LIME [7]（10张图片），MEF [22]（17张图片），NPE[29](85图像）和VV1（24个图像）数据集。评估指标。 为了评估不同LLIE方法的性能，我们使用全参考和非参考图像质量评估指标。对于具有配对数据的LOL测试数据，采用峰值信噪比（PSNR）、结构相似性（SSIM）、平均绝对误差（MAE）、推理时间和颜色敏感误差（CSE）[37]。对于没有配对数据的DICM、LIME、MEF、NPE和VV数据集，仅使用自然度图像质量评估器（NIQE），因为没有地面实况。请注意，CSE是一种新的度量标准，可以测量两个图像的颜色差异[37]。具体来说，PSNR和SSIM越大，增强效果越好。相比之下，CSE、MAE和NIQE越小，细化图像越逼真比较方法。由于我们主要关注深度LLIE方法，因此将DCC-Net与六种状态进行了比较基于深度神经网络的LLIE方法：• RetinexNet（BMVC• EnlightenGAN（TIP• KinD（MM• KinD++（IJCV• Zero-DCE（CVPR• Zero-DCE++（TPAMI实作详细数据。我们通过Pytorch [23]平台在Python环境下进行所有实验，1https://sites.google.com/site/vonikakis/datasets两个NVIDIA GeForce RTX 2080i GPU。所有训练和测试图像都被调整为512×512像素。使用Adam优化器[14]，批量为6。我们训练我们的DCC-Net 400个时期，其中学习率在前200个时期为0.0001，在接下来的200个时期为0.00001。 对于我们的DCC网络的超参数，我们经验地设置λ g=1，λ c=2，λ r=2，λslim=2，λ tv=0。1 .一、4.2. 定量增强结果具有配对数据的LOL数据集。我们首先在LOL数据集上评估每个深度LLIE模型。数值结果描述于表1中。我们可以看到：（1）我们的DCC-Net获得了最大的PSNR值和最小的MAE值，即，在所有比较方法中，增强结果更接近真实值;（2）对于SSIM度量，我们的DCC-Net与KinD相当，并且优于其他方法，即，我们的DCC-Net可以更好地恢复LLIE的结构;（3）与有监督方法相比，无监督方法在保持增强图像质量方面仍然存在不足;（4）与其他深度LLIE方法相比，我们的DCC-Net在CSE度量上有明显的改善，其中“raio”表示其他方法的结果与我们的DCC-Net的结果之比。由于CSE可以直接测量两幅图像之间的颜色差异，因此结果可以表明我们的DCC-Net在保持颜色一致性方面是有效的;（5）我们的DCC-Net的推理时间与其他方法相当因此，在增强性能和推理时间方面，DCC-Net以相对较短的推理时间获得数据集（DICM、LIME、MEF、NPEE和VV），无配对数据。 我们还进行了实验的非配对和真实的弱光图像。表2显示了LLIE结果的定量图像质量（NIQE度量）。一般来说，DCC-Net在所有方法中获得更好的NIQE结果。具体来说，KinD和KinD++在MEF数据集上实现了对于其他数据集，我们的DCC-Net是最好的。4.3. 视觉图像分析和评价具有配对数据的LOL数据集。图4显示了LOL数据集的几个增强图像。很明显，我们的DCC- Net可以防止增强后的图像颜色不准确.在大多数情况下，对比方法的增强图像与真实图像存在明显的色差。对于KinD、KinD++的轻度细化图像，结果通常被过度增强。EnlightenGAN和我们的DCC-Net的图像看起来更好。在数值PSNR/SSIM度量方面，我们提出的DCC-Net方法实现了最好的增强效果。没有配对数据的数据集。在图5-7中，我们进一步展示了DICM、LIME、MEF、NPE和VV数据集的视觉增强结果。我们可以发现：（1）零DCE++和零DCE倾向于产生过度增强1905Low Zero−DCE++ Zero−DCE RetinexNet KinD++ KinDEnlightenGANDCC−Net图5.DICM和LIME数据集上深度LLIE方法的可视化比较，其中第一行中的结果基于LIME数据集，第二行中的结果基于DICM数据集。Low Zero−DCE++ Zero−DCE RetinexNet KinD++ KinDEnlightenGANDCC−Net图6. NPE数据集上深度LLIE方法的可视化比较。Low Zero−DCE++ Zero−DCE RetinexNet KinD++ KinDEnlightenGANDCC−Net图7. MEF和VV数据集上深度LLIE方法的视觉比较，其中第一行中的结果基于MEF数据集，第二行中的结果基于VV数据集。1906表2. DICM、LIME、MEF、NPE和VV数据集的NIQE评价结果，其中红色表示最佳性能，蓝色表示次佳性能。表3.我们的DCC-Net在LOL数据集上具有不同结构的LLIE结果，其中粗体表示最佳。型号W/O G-Net不含C-Net不带PCE DCC-NetPSNR21.5121.0121.1422.72SSIM0.790.790.790.81MAE（%）10.2710.1310.438.72（2）RentinexNet的增强结果存在明显的色差，使增强后的 图 像 显 得 不 真 实 ; （ 3 ） KinD 、 Kind++ 和EnlightenGAN的光照增强后的图像缺乏自然感;（4）相比之下，我们的DCC网络增强图像更自然，更丰富多彩。4.4. 消融研究我们评估的网络结构和PCE模块对我们的DCC-Net的性能的影响网络结构的有效性。为了证明子网络G-Net和C-Net的有效性，我们在有和没有它们的LOL数据集上进行了LLIE任务。图8显示了不同模型的LLIE结果，其中W/o G-Net和W/o C-Net分别代表不含G-Net和C-Net的DCC- Net。我们发现，不合理的颜色是由W/O G-Net和W/O C-Net产生的。表3描述了定量结果。结果表明，在没有G-Net或C-Net的情况下，系统的性能会明显下降，这说明了所提出的“分而治之”协同策略的合理性和有效性PCE的有效性。从表3可以看出，当从DCC-Net中去除PCE时，表示为W/o PCE，PSNR和SSIM的值小于DCC-Net，即，PCE对于确保性能是重要的。同样，MAE值大于W/o PCE，表明PCE对提高光照度是有效的。由于PCE能够有效地逐层匹配颜色和内容特征，从而能够充分利用颜色信息。从图8的第三行，我们看到增强图像包含不期望的黄色，无C-Net DCC-Net不带G-Net DCC-Net不带PCE DCC-Net图8.不同LLIE模型在LOL数据集上的比较。这与周边区域明显不一致。5. 结论我们讨论了LLIE任务中保持颜色一致性和自然性在技术上，我们提出了一种新的具体地说，设计了两个子网，分别从低光照图像中学习灰度图像和颜色直方图，其中灰度图像提供丰富的内容信息，颜色直方图提供颜色信息。由于颜色直方图不考虑空间位置，因此进一步设计了一个新的模块PCE来匹配颜色和内容特征，并逐步嵌入颜色信息。通过协作策略，DCC-Net可以联合保存颜色信息和细化光照。大量的实验表明了DCC-Net在获取更多自然色彩的正常光图像方面的优越性和有效性在未来，我们将研究更有效的网络，以进一步提高LLIE的自然度和颜色一致性。此外，如何从内容和色差的角度定量地评估自然度和图像质量仍然是一个开放的问题，这也是一个有趣的未来工作。6. 致谢本 课 题 得 到 国 家 自 然 科 学 基 金 （ 62072151 、61732007、61932009、62020106007）和安徽省杰出青年基金（2008085J30）的资助。赵章为本文通讯作者。方法DICM石灰MEFNPEVVRetinexNet4.335.754.934.954.32种3.954.424.453.923.72零DCE4.585.824.934.534.81EnlightenGAN4.064.594.703.994.04Zero-DCE++4.895.665.104.745.10KinD++3.894.904.553.913.82DCC-Net3.704.424.593.703.281907引用[1] 图尔盖·切里克和塔迪·查哈迪上下文和变化对比度增强 。 IEEE Transactions on Image Processing ， 20（12）：3431-3441，2011. 2[2] Chen Chen，Qifeng Chen，Jia Xu，and Vladlen Koltun.学会在黑暗中看东西在IEEE计算机视觉和模式识别会议论文集，第3291-3300页1[3] 邓健康，贾国，薛念南，Stefanos Zafeiriou。Arcface：用于深度人脸识别的附加角度余量损失。在IEEE/CVF计算机视觉和模式识别会议论文集，第4690-4699页1[4] Jun Fu ， Jing Liu ， Haijie Tian ， Yong Li ， YongjunBao，Zhivei Fang，and Hanqing Lu.用于场景分割的双注意网络。在IEEE/CVF计算机视觉和模式识别会议论文集，第3146- 3154页，2019年。1[5] 伊恩·古德费洛、让·普盖特-阿巴迪、迈赫迪·米尔扎、许冰、大卫·沃德-法利、谢尔吉尔·奥扎尔、阿伦·库维尔和约舒亚·本吉奥。生成性对抗网。《神经信息处理系统进展》，2014年第27期。1[6] Chunle Guo，Chongyi Li，Jichang Guo，Chen ChangeLoy，Junhui Hou，Sam Kwong，and Runmin Cong.用于弱光图像增强的零参考深度曲线估计。在IEEE/CVF计算机视觉和模式识别会议论文集，第1780-1789页，2020年。 三、六[7] 郭晓洁。Lime：一种弱光图像增强方法。第24届ACM国际多媒体会议集，第87-91页，2016年。二、六[8] 郭晓洁，李宇，凌海滨。Lime：通过照明图估计进行低 光 图 像 增 强 。 IEEE Transactions on imageprocessing，26（2）：982-993，2016。2[9] 韩菊和马开光模糊颜色直方图及其在彩色图像检索中应用。IEEE Transactions on Image Processing，11（8）：944-952，2002年。4[10] Kaiming He，Xiangyu Zhang，Shaoying Ren，and JianSun.用于图像识别的深度残差学习。在Proceedings ofthe IEEE conference on computer vision and patternrecognition，第770-778页，2016中。1[11] Yifan Jiang，Xinyu Gong，Ding Liu，Yu Cheng，ChenFang，Xiaohui Shen，Jianchao Yang，Pan Zhou，andZhangyang Wang.启迪：无需配对监督的深度光增强。IEEE Transactions on Image Processing ， 30 ： 2340-2349，2021。一、三、六[12] Daniel J Jobson，Zia-ur Rahman，Glenn A Woodell.一种多尺度视网膜，用于弥合彩色图像和人类对场景的观察之间的差距IEEE Transactions on Image processing，6（7）：965-976，1997. 2[13] Daniel J Jobson，Zia-ur Rahman，Glenn A Woodell.中心/环绕视网膜的特性和性能。IEEE图像处理学报，6（3）：451-462，1997年。2[14] Diederik P Kingma和Jimmy Ba。Adam：随机最佳化的方法。arXiv预印本arXiv：1412.6980，2014。6[15] 埃德温·H·兰德色觉的视网膜理论。科学美国人，237（6）：108-129，1977。2[16] Chulwoo Lee Chul Lee和Chang-Su Kim基于分层差分表示的对比度增强。2012年第19届IEEE图像处理国际会议，第965-968页。IEEE，2012。6[17] Chulwoo Lee Chul Lee和Chang-Su Kim基于二维直方图分 层 差 分 表 示 的 对 比 度 增 强 。IEEE transactions onimage processing，22（12）：5372-5384，2013. 2[18] Chongyi Li，Chunle Guo，and Chen Change Loy.学习通过零参 考深度曲线估 计增强弱光 图像arXiv预印本arXiv：2103.00860，2021。三、六[19] Chongyi Li ， Jichang Guo ， Fatih Porikli ， and YanweiPang. Lightennet：一个用于弱光照图像增强的卷积神经网络。模式识别字母，104：15-22，2018。3[20] Mading Li，Jiaying Liu，Wenhan Yang，Xiaoyan Sun，and Zongming Guo.通过鲁棒的retinex模型进行结构揭示的 低 光 图 像 增 强 。 IEEE Transactions on ImageProcessing，27（6）：2828-2841，2018。2[21] Kin Gwn Lore ， Adedotun Akintayo ， and SoumikSarkar.Ll-net：一种用于自然低光图像增强的深度自动编码器方法Pattern Recognition，61：650-662，2017. 3[22] Kede Ma，Kai Zeng，and Zhou Wang.多曝光图像融合的 感 知 质 量 评 价 。 IEEE Transactions on ImageProcessing，24（11）：3345-3356，2015。6[23] Adam Paszke ， Sam Gross ， Francisco Massa ， AdamLerer ， James Bradbury ， Gregory Chanan ， TrevorKilleen ， Zeming Lin ， Natalia Gimelshein ， LucaAntiga，et al.Pytorch：一个操作风格的高性能深度学习库。Advances in Neural Information Processing Systems，32：80266[24] 斯蒂芬·M·皮泽尔。对比度受限的自适应直方图均衡化：速度与效率Stephen M.皮泽尔河放大图片作者：james p.邦妮·埃里克森基思·扬卡斯卡斯穆勒医学图像显示研究小组。在Proceedings of the First Conference onVisualization inBiomedical Computing ， Atlanta ，Georgia，第337卷，1990年。2[25] 任少卿、何开明、罗斯·格尔希克、孙健。更快的r-cnn：利用区域建议网络进行实时目标检测。神经信息处理系统的进展，28：91-99，2015。1[26] Wenqi Ren，Sifei Liu，Lin Ma，Qianqian Xu，XiangyuXu，Xiaoxun Cao，Junping Du，and Ming-Hsuan Yang.经由深度混合网络的弱光图像增强。IEEE Transactionson Image Processing，28（9）：43643[27] Xutong Ren，Wenhan Yang，Wen-Huang Cheng，andJiaying Liu. Lr3m：通过低秩正则视网膜模型的稳健低光增强。IEEE图像处理学报，29：5862-5876，2020。2[28] Olaf Ronneberger，Philipp Fischer，and Thomas Brox. U-net：用于生物医学图像分割的卷积网络。医学图像计算和计算机辅助干预国际会议，第234-241页。施普林格，2015年。31908[29] 王书航、金正、胡海淼、波丽。非均匀光照图像的自然性 保 持 增 强 算 法 。 IEEE Transactions on ImageProcessing，22（9）：3538-3548，2013. 6[30] Chen Wei，Wenjing Wang，Wenhan Yang，and JiayingLiu.用于弱光增强的深度retinex分解arXiv预印本arXiv：1808.04560，2018。一、二、五、六[31] 魏艳艳、赵章、王扬、徐明亮、杨毅、严水城、王梦。Deraincyclegan：雨细心自行车为单一的形象脱轨和造雨。IEEE Transactions on Image Processing，30：47881[32] Wenhan Yang ， Shiqi Wang ， Yuming Fang ， YueWang，and Jiaying Liu.从保真度到感知质量：一种用于弱光图像增强的半监督方法。在IEEE/CVF计算机视觉和模式识别会议论文集，第3063-3072页，2020年。3[33] Lin Zhang ， Lijun Zhang ， Xiao Liu ， Ying Shen ，Shaoming Zhang，and Shengjie Zhao.使用深度内部学习对背光图像进行零拍摄恢复。在第27届ACM国际多媒体会议论文集，第1623-1631页，2019年。3[34] Yonghua Zhang，Xiaojie Guo，Jiaoyi Ma，Wei Liu，and Jiawan Zhang.除了照亮低光图像。国际计算机视觉杂志，129（4）：1013-1037，2021。三、六[35] Yonghua Zhang