基于Retinex的低光图像深度展开网络

59010URetinex-Net：基于Retinex的低光图像深度展开网络0增强0吴文辉1 翁健2 张平平3 王旭2 * 杨文瀚4 蒋建民201 深圳大学电子与信息工程学院02 深圳大学计算机科学与软件工程学院03 香港城市大学计算机科学系04 新加坡南洋理工大学电气与电子工程学院0摘要0基于Retinex模型的方法已经显示出在逐层操作中具有很好的效果。0基于Retinex理论的方法[16,17]首先估计照明，然后将反射率作为最终增强结果。虽然可以从输入中恢复大量细节，但往往会导致不自然和过曝的外观。随后，出现了许多基于模型的方法，这些方法0为了解决这些问题，本文提出了一种基于Retinex的深度展开网络（URetinex-Net），它将优化问题展开为可学习的网络，将低光图像分解为反射率和照明层。通过将分解问题形式化为隐式先验正则化模型，设计了三个基于学习的模块，分别负责数据相关的初始化、高效展开优化和用户指定的照明增强。特别地，所提出的展开优化模块通过引入两个网络以自适应地拟合数据驱动的隐式先验，可以实现噪声抑制和细节保留，得到最终的分解结果。对真实世界的低光图像进行的大量实验在定性和定量上证明了所提出方法的有效性和优越性。代码可在https://github.com/AndersonYong/URetinex-Net获取。0模块引入了两个网络，以数据驱动的方式自适应地拟合隐式先验，可以实现噪声抑制和细节保留，得到最终的分解结果。对真实世界的低光图像进行的大量实验在定性和定量上证明了所提出方法的有效性和优越性。代码可在https://github.com/AndersonYong/URetinex-Net获取。01. 引言0在光线较差的环境中拍摄的图像通常会受到低对比度和低可见度的影响。0低对比度和低可见度使得低光图像对于人类视觉和许多高级视觉任务（如目标检测[21,23,35]）都具有挑战性。为了揭示低光图像中隐藏的细节并避免后续视觉任务的性能退化，研究人员在对低光图像进行对比度增强、纹理恢复和噪声去除方面做出了巨大努力。0* 通讯作者。wangxu@szu.edu.cn0输入0L10R1 0L00R30L30R20L20URetinex-Net0图1.每个展开阶段的分解结果，逐步去除退化。对分解后的照明层应用伽马校正以获得更好的视觉效果。0URetinex-Net0由于Retinex理论很好地模拟了人类的色彩感知。0在低光图像增强（LLIE）方面，已经提出了许多方法，包括直方图均衡化[29]，锐化掩蔽算法[7]，基于Retinex的方法[12,27]，多重曝光融合[5]和基于深度学习的方法[11,34]。0I = R ∙ L，(1)0其中R，L和∙分别表示反射率、照明和逐元素乘法。在早期的人类视觉中，基于Retinex理论的LLIE方法引起了很大关注。根据Retinex理论，图像可以分解为两个组成部分，即0基于Retinex的方法[16,17]首先估计照明，然后将反射率作为最终增强结果。虽然可以从输入中恢复大量细节，但往往会导致不自然和过曝的外观。随后，出现了许多基于模型的方法，这些方法59020为了解决公式（1）中的不适定分解问题，提出了一些具有良好可解释性的模型化方法，其中引入了各种手工设计的先验作为正则化项[12, 13, 22, 27,30]。然后，为了揭示低光图像，通过Gamma校正进一步提亮照明。设计显式先验以适应数据是使模型良好工作的关键，但是对于模型化方法来说，在各种场景中足够自适应是具有挑战性的。此外，大多数采用传统迭代优化方案的模型化方法对于单个图像调整来说成本较高，这将阻碍它们在实时应用中的发展。0由于模型化方法存在这些限制，0为了恢复低光图像，研究人员利用深度网络[3, 11, 15, 25,34,42]以数据驱动的方式进行恢复。在这些基于学习的方法中，基于Retinex的方法[34, 39,41]使用深度网络来估计反射和照明，并提亮照明。然而，这些方法中大多数在分解后对反射进行去噪操作，导致细节的丢失。此外，基于学习的方法缺乏可解释性和灵活性，这在分析设计网络的潜在局限性方面带来了困难。0为此，我们提出了一种基于Retinex的深度展开网络0在RGB颜色空间中，我们提出了一种名为URetinex-Net的解决低光图像的网络。为了综合模型化方法和基于学习的方法的优势，我们将Retinex分解问题形式化为一个隐式先验正则化模型，其中鲁棒正则化项通过可学习的网络推断，而不是使用手工设计的先验知识。具体而言，所形成的模型的能量函数通过交替半二次分裂算法分解为四个单变量子问题，这个优化问题可以通过迭代地最小化四个子问题来解决。然后，我们将优化方案展开成一个深度网络。对于涉及先验项的子问题，引入了两个网络来自适应地拟合隐式先验，而涉及保真度项的其他子问题则通过相应的闭合形式解决。在展开优化过程中，分解的反射和照明逐步摆脱退化（见图1）。同时，所形成的模型避免了设计显式的先验项。此外，考虑到初始化对优化的重要影响，我们提出了一个初始化模块来优化优化过程。最后，我们设计了一个照明调整模块，根据使用指定的光照水平灵活地提亮照明图。0总结起来，本文的贡献有三个方面：0• 基于传统的模型化方法，我们提出了一个名为URetinex-Net的网络0我们提出了一种新颖的用于低光图像增强的深度展开网络（URetinex-Net），包括与初始化、优化和照明调整相对应的三个功能清晰的模块。0分别进行反射和照明调整，从模型化方法继承了灵活性和可解释性。0• 我们提出的URetinex-Net中的优化模块0Net将优化过程展开成一个深度网络，利用基于学习的方法的强大模型能力来自适应地拟合数据相关的先验知识。0• 我们对真实世界数据集进行了广泛的实验0我们的URetinex-Net具有高效性和优越性，可以实现对最终增强结果的噪声抑制和细节保留。02. 相关工作02.1. 基于Retinex的低光图像增强方法0基于模型的方法：经典的Retinex理论模型0人类视觉系统（HVS）假设观察到的颜色取决于物体本身的固有成分和外部非均匀光源落在物体上。自然地，图像可以分解为反射和照明，如公式（1）所示。0几种Retinex分解模型[9，18，27]已经提出。0在变分框架下提出了几种模型化的方法。然后调整估计的光照，恢复目标低光照图像。随后，提出了几种基于最大后验（MAP）框架的能量函数的模型化方法[12，13，22，30]。Guo等人[12]提出了一个结构感知的正则化模型，以改进基于初始模型的光照图。为了模拟噪声引起的退化，Li等人[22]在目标函数中引入了一个噪声项，以帮助去除噪声并放大细节。Hao等人[13]使用高斯全变差作为正则化项构建分解模型。总的来说，传统的模型化方法0基于模型的方法主要依赖于精心设计的手工先验或特定的统计模型。然而，这些先验在应用于不同场景时受到模型容量的限制。0基于深度学习的方法：在过去的十年中，0基于深度学习的方法为LLIE问题提供了有希望的结果[20]。受到Retinex的启发，0理论上，Wei等人[34]提出了一个端到端可训练的网络Retinex-Net，它包括一个分解模块和一个光照调整模块。为了在Retinex-Net中实现去噪操作，使用BM3D[6]作为反射率的后处理层，这意味着Retinex-Net无法处理极低光照图像中的重噪声。根据[34]，KinD[41]采用可训练的去噪模块进行反射率恢复。此外，在光照调整模块中设计了一个可学习的映射函数，其中图像可以灵活地Conv + ReLUFC + ReLUFC + SigmoidConvAverage poolingConcatenationElement-wise multiplication…………cC(a)(c)(b)𝑃�𝑄�C𝑅�Channel-wiseWeight mapFeature mapResidual mapC𝒢�𝒢�59030阶段 T0阶段 10阶段 k0展开0优化模块0初始化0模块0增强0结果0光照0光照调整模块0阶段 k0图2. 我们提出的URetinex-Net的示意图。 (a) URetinex-Net的整体框架， (b) URetinex-Net中每个阶段的详细信息， (c) G R在每个阶段中应用的具体网络结构。特别地，解决LLIE问题的URetinex-Net包括三个可学习模块。通过将目标低光照图像传入初始化模块，生成初始反射率和光照。然后，展开优化模块迭代地优化反射率和光照层。最后，光照调整模块根据用户定义的比例输出增强的正常光照版本。0在用户特定的光照水平下恢复。最近，受Retinex理论和最大熵的启发，张等人[39]提出了一个自我监督的框架，利用直方图均衡化算子对反射率施加约束。0尽管这些方法在性能上表现出色，0在LLIE上的性能，它们缺乏可解释性，这将阻碍它们在LLIE上的发展。此外，根据反射率在不同光照环境下应保持一致的理论，大多数基于Retinex的深度学习方法在分解后恢复反射率，这将导致细节的丢失[22]。02.2. 深度展开方法0基于模型的LLIE方法具有很高的可解释性和0然而，基于学习的LLIE方法在学习复杂映射方面表现出优势。此外，深度神经网络在推理过程中运行速度快，特别是计算效率高。在过去的十年中，利用基于模型和基于学习的方法的优势的展开（或展开）算法引起了广泛关注。0Gregor和Lecun [10]首次设计了一个时间展开的0算法来解决稀疏编码优化中的迭代收缩和阈值算法，从而使得所提出的算法在较少的迭代次数内产生了有竞争力的性能。受到这种优化方案的启发，深度展开算法取得了巨大的进展。0对许多重要的图像处理问题产生了重要影响，例如超分辨率[33] [36]，图像去噪[4] [38]，杂波抑制[31]和雨水去除[8]。0最近，刘等人提出了一个展开框架0以无监督的方式同时进行照明估计和降噪，而在这种方式下，反射和照明之间的相互关系将被忽略。我们的方法与之不同的两个主要方面是：（1）我们倾向于在统一的框架中同时估计输入的反射和照明；（2）我们的网络可以通过用户定义的比例灵活地增强照明。03. 提出的展开网络0在本节中，我们首先介绍了我们的公式的表述0提出的方法，然后介绍框架的细节。03.1. 问题表述0经典的Retinex模型假设图像可以0通过公式（1）将图像分解为反射和照明，并开发了各种手工先验来解决这个不适定的分解问题。因此，可以通过最小化以下正则化能量函数来获得反射和照明：0E（ R，L ）= k I - R ∙ L k 20F + � Φ（ R ） + β （ L ），（2）(3)(4)(a)(c)(b)B} I(c)k59040其中 k ∙ k F 表示Frobenius范数， k I - R ∙ L k 20F 是0忠诚度项源自公式（1），Φ（ R ）和（ L ）分别是对 R 和L 强加的先验项，� 和 β 是权衡参数。0通常，为了便于优化，忠诚度项和0分别处理正则化项，因此我们引入两个辅助变量 P 和 Q来近似 R 和 L。因此，这导致以下最小化问题：0P，Q，R，L k I - P ∙ Q k 20F + � Φ（ R ） + β （ L ）0s . t . P = R，Q = L。0为了处理等式约束，引入了两个二次惩罚项，并将问题重写为：0P，Q，R，L k I - P ∙ Q k 20F + � Φ（ R ） + β （ L ）0+ γ k P - R k 20F + λ k Q - L k 20F ，0其中 γ 和 λ 是惩罚参数。0为了解决公式（4）中的问题，一个变量的值是通过最小化以下正则化能量函数来获得的：0可交替更新其他固定的变量的值。因此，我们将问题分解为四个单变量子问题，可以通过以下交替方案进行优化：0P k = arg min0P0k I - P ∙ Q k - 1 k 20F + γ k P - R k - 1 k 20F ，（5）0R k = arg min0R0� Φ（ R ） + γ k P k - R k 20F ，（6）0Q k = arg min0Q0k I - P k ∙ Q k 20F + λ k Q - L k - 1 k 20F ，（7）0L k = arg min0L0β ( L ) + λ k Q k - L k 20F ，（8）0其中 k 表示迭代索引。03.2. URetinex-Net框架0由于设计特定的正则化项是困难的，0Φ( R ) 和 ( L ) ，我们利用深度网络来自适应地拟合 R 和 L的物理先验。因此，基于上述优化方案，我们将更新步骤映射到一个深度展开网络架构，并提出了一种新的LLIE框架。如图2所示，提出的URetinex-Net包括三个模块，即初始化模块、展开优化模块和光照调整模块。03.2.1 初始化模块0初始化在优化过程中起着重要的作用。随机或全零初始化在传统的优化方案中被广泛使用，如ADMM[1]。考虑到可靠的初始化对性能的影响，我们希望获得一个具有更丰富信息的初始化光照和反射率，而不是随机值或全零。0图3. 低光照图像中一个补丁的统计特征。 (a) 低光照图像，(b) 由 R0 =0max c 2{ R,G,B } I ( c ) ，以及 (c) 由我们提出的0模块。显然，刚性初始化改变了原始低光照图像的统计特征，而我们的初始化模块能够很好地保留这些特征。0性能，我们希望获得一个初始化的光照和反射率，其中包含更丰富的信息，而不是随机值或全零。0直观地说，为了保持图像的整体结构，初始光照0光照 L 0 可以通过寻找三个颜色通道的最大值来初始化 [12]，相应地，初始反射率 R 0可以通过 R 0 = I L 0 推导得到，其中 ( ∙ )表示逐元素除法。然而，这种刚性初始化方式会导致颜色失真。如图3(b)所示，三个通道的强度的统计特征（例如 { R, G, B } ）发生了变化。0为了避免引起失真，我们提出了一种数据相关的初始化模块，称为 D，它使用一个全卷积(Conv)网络来自适应地同时学习 R 0 和 L 0。初始化模块由三个Conv+LeakyReLU层组成，后面跟着一个卷积层和ReLU层。整个卷积层的卷积核大小设置为3x3。对于初始化低光照图0因此，为了揭示粗略的细节但避免引起失真，0min R 0 ,L 0 k I - R 0 ∙ L 0 k 1 + µ k L 0 - max0三个Conv+LeakyReLU层，后面跟着一个卷积层和ReLU层。整个卷积层的卷积核大小设置为3x3。对于初始化低光照图像的两个组成部分，损失函数设计如下：0F , (9)0其中，k ∙ k 1 表示l 1 范数，µ 是超参数，c 2 { R, G, B }表示RGB通道。第一项是重构损失，第二项旨在鼓励初始化的光照保持图像的整体结构。0对于正常光照图像的光照，我们在其上施加了一个约束0正常光照图像用于生成清晰的反射率，应该接近于低光照图像的反射率。因此，正常光照图像的反射率在下面的展开优化模块中被用作参考。基于初始化模块的网络架构，我们进一步施加结构感知平滑minˆR,ˆLB}+ke�✏OˆI·OˆLk1),(10)where ˆI, ˆR, and ˆL represent the normal-light image, re-flectance of ˆI and illumination of ˆI, respectively, ✏ and ˆµare hyper-parameters, and O(·) denotes gradient operation.In the third term, the total variation of the illumination mapis weighted by the gradient of the image, such that illumina-tion can be spatially smoothed in a structure-aware manner.=<(11)(12)=>><>>:(13)to-end manner, where parameters and network architecturesof GR and GL are shared across different stages. Normal-light reflectance ˆR generated by our initialization moduleis used as the reference during the optimization of unfold-ing networks. With regarding to the loss function, we adoptthe summation of loss functions for reflectance and illumi-nation, which includes the mean squared error (MSE) lossbetween Pk and Rk in each stage, the MSE loss, the struc-tural similarity loss, and the perceptual loss between ˆR andthe final restored reflectance RT , the MSE loss between Qkand Lk in each stage, and the total variation loss for Lk ineach stage. The loss function for the unfolding optimizationmodule is as follows:TT(16)59050k ˆ I - ˆ R ∙ ˆ L k 1 + ˆ µ ( k ˆ L - max0ˆ I ( c ) k 203.2.2 展开优化模块0展开优化模块的目标是通过迭代求解四个一元子问题来更新T次迭代中对应的变量。通过将更新步骤映射到深度神经网络架构中，推理被展开为 T个阶段，每个阶段对应一次迭代，其中 P、Q、L 和 R以交替的方式进行更新。接下来，我们按顺序介绍所提出模块中的更新规则。0P 和 Q 的更新规则：显然，P-子问题0在公式（5）中是一个经典的最小二乘问题，其闭合形式解可以通过对 P进行微分并将导数设为0来获得。因此，给定初始化的反射率和 P-子问题的闭合形式解，关于 P 的更新公式如下：0P k = F P(I, R k − 1, Q k − 1, γ)0R 0, k = 1,0γR k − 1 + I ∙ Q k − 1 Q k− 1 ∙ Q k − 1 + γ 1, else,0其中 1 表示全1矩阵。0类似地，通过求解 Q-子问题来更新 Q0公式（7）中的子问题。在 RGB空间中恢复低光图像时，三个通道中的反射率层共享相同的光照层，因此假设光照是灰度的。因此，公式（7）可以重写为：0Q k = arg min0Q0X0c 2{ R,G,B }0k I (c) − P (c0k ∙ Q k 20F + λ k Q − L k − 1 k 20F,0考虑到初始化的光照，得到了 Q 的更新公式0Q k = F Q(I, L k − 1, P k, λ)0L 0, k = 1,0λL k − 1 +P0c 2{ R,G,B } I (c) ∙ P (c)0k 0c 2{ R,G,B } P (c)0k ∙ P (c)0k + λ 10, else.0L 和 R 的更新规则：对于 L- 和 R-子问题0在公式（8）和（6）中，我们不是引入手工设计的先验来手动设计特定的损失函数，而是开发基于学习的方法从真实世界数据中探索隐式先验。换句话说，我们引入了两个网络 GL 和 G R 来分别进行 L 和 R 的更新。0具体而言，用于拟合的网络0L 的物理先验表示为0L k = G L(Q k; � L), (14)0其中 Q k 被视为 G L 的输入，� L表示可学习参数。我们采用一个简单的全卷积网络，包含五个 Conv 层和 ReLU 激活函数，以学习 L的隐式先验，从而可以从训练数据中学习先验，同时避免设计复杂的正则化项。0然后，通过将降级的 P k 通过可学习的方式传递0以类似的方式通过去噪网络 G R进行更新，可以得到更干净的反射率。然而，反射率中出现的失真程度与光照层的亮度高度相关，较暗的区域伴随着更严重的退化。因此，为了引导反射率恢复，将 Q k 与 P k聚合作为输入馈送到 G R 中。因此，用于执行 R的更新的网络表示为：0R k = G R(P k, Q k; � R), (15)0其中 � R 表示 G R 中的可学习参数。为了融合 P k 和 Q k来更新 R k，采用了挤压-激励（SE）[14]块。G R的详细信息在图2（c）中展示。0最小化0T X0k = 10( γ k k P k − R k k 20F + λ k k Q k − L k k 20F )0+ β k O L T k 1 + �(k φ(ˆ R) − φ(R T)) k 10+ k ˆ R − R T k 20F + (1 − SSIM(ˆ R, R T)))，59060其中 T 表示阶段的总数，φ(∙)表示在ImageNet上由VGG19网络预训练的高级特征提取器，SSIM(∙)表示结构相似性损失，γ k，λk，�和β分别是权衡参数。0显然，即使在深度神经网络架构中0因此，所提出的展开优化模块具有良好的可解释性，其中 FP，F Q，G L和G R都具有明确的含义。此外，它避免了显式的正则化设计，并以深度学习的方式自适应地恢复光照和反射。03.2.3 光照调整模块0实际上，图像增强没有真实的光照水平，因此需要灵活调整光照以适应不同的实际需求。对于LLIE，伽马校正被广泛用于提亮光照图[9, 22, 30]，即 ˜ L = L01 γ ，其中 ˜ L 表示0调整后的图和可变因子 γ 经验性地设置为1/2.2。然而，如[41]所建议的，与伽马校正相比，学习方式的光照调整更符合实际情况。为此，我们提出了一个光照调整模块，它以低光照光照 L 和用户指定的增强比率 !作为输入，表示为0˜ L = A(L, !; � A)，(17)0其中 � A 表示 A 的可学习参数。注意，! > 1 表示增亮情况。0由于光照图的分布是非均匀的0由于光照图的分布是非均匀的，我们将 ! 扩展为一个与 L大小相同的图，然后通过 A 将 ! 和 L的连接传递。为了保持一致性和平滑调整光照，该模块中的卷积核大小增大到 5 × 5。0光照调整模块的损失函数为0如下所示：0最小化0k O ˜ L − O L k 1  + k R  ∙ ˜ L − ˆ I k 20F +(1 − SSIM(R ∙ ˜ L, ˆ I))，0其中 k O ˜ L − O L k 1 旨在强制执行细化的光照图 ˜ L 与 L保持一致性，另外两个项都是重建损失，以确保学习˜ L 的保真度约束。在训练过程中，!的值由 mean(ˆ L) 定义。0均值 ( L ) 。而对于推理，增强0比例  ! 由用户指定。0虽然KinD [ 41 ]也开发了一种灵活的光照0调整网络，它取决于分解的光照0正常光图像的映射，这可能破坏输入  L的局部结构。相反，提出的模块旨在保持与低光照的结构一致性。此外，损失函数中的最后两个项集成了反射分量，旨在约束细化的光照能够自然地重建正常光图像。04. 实验04.1. 实现细节和数据集0为了评估我们提出的方法的性能，0我们在LOL数据集[ 34]上训练和测试我们的模型，该数据集包含500对低光/正常光图像，是从现实世界中以不同曝光时间拍摄的。我们遵循[41]的训练数据设置。为了更有说服力的比较，我们将我们的模型扩展到SICE数据集[ 2]，该数据集包含589个具有多级曝光的自然场景，并从中随机选择108个低/正常曝光图像对。此外，我们采用MEF数据集[ 19 ]进行视觉比较，以展示我们提出的方法的效率。0URetinex-Net为每个模块单独训练，0其中批量大小设置为4。我们在展开模块的训练中使用较小的补丁大小（48 � 48）以提高效率。通过消融实验，我们发现T  = 3已经取得了有希望的结果，因此在后续实验中经验性地将 T设置为3。每个模块使用Adam优化器进行训练，学习率为0.0001，在30K次迭代后进行衰减。根据经验，  µ ，  ˆ µ ，  �，  β  和  �  分别设置为0.1，0.1，1，20和10。根据[ 36]，惩罚参数  λ  和  γ预计需要迭代增加以实现稳定收敛。在这里，我们最初将  λ和  γ设置为0.5和0.1，每个阶段增加0.05。所有实验都在NVIDIATesla V100 GPU上，在PyTorch [ 28 ]框架下进行。04.2. 与最先进技术的比较0我们定性和定量地与五个0传统的Retinex-based方法，包括NPE [ 32 ]，SRIE [ 9]，LIME [ 12 ]，RRM [ 22 ]和LR3M [ 30]。此外，为了验证我们的模型从数据中学习隐式先验的效率，我们与最先进的（SOTA）基于学习的方法进行比较，包括Retinex-Net [ 34 ]，KinD [ 41 ]，Zero-DCE [ 11]，RUAS [ 24 ]，AGLL-Net [ 26 ]和KinD++ [ 40]。Retinex-Net，KinD，KinD++和RUAS已经在LOL数据集上进行了训练，因此我们利用它们提供的模型进行评估。否则，对于Zero-DCE，我们使用LOL训练数据集中的裁剪图像重新组织训练数据，并按照其默认设置进行微调。为了衡量颜色、结构和高级特征的差异(b) LIME(c) RRM(e) KinD++(d) Zero-DCE(f) RUASNPE [32]0.129016.96970.48182.0607SRIE [9]0.257111.85520.49371.8616LIME [12]0.120016.75860.44402.0601learning regularization term on reflectance, we remove Qkfrom the input of network GR, while the rest of the setupsare as same as URetinex-Net. In order to illustrate the effec-59070(a) 输入0(g) 我们的 (h) 真实值0图4. 使用SOTA LLIE方法在SICE数据集上进行视觉比较。红色和绿色框表示明显的差异。0表1.LOL和SICE数据集上的定量比较。最佳和次佳结果以粗体和下划线表示。0数据集 方法 MAE ↓ PSNR ↑ SSIM ↑ LPIPS ↓0RRM [ 22 ] 0.2080 13.8765 0.6696 1.71320LOL LR3M [ 30 ] 0.3086 10.2228 0.4343 2.36690Retinex-Net [ 34 ] 0.1256 16.7740 0.4285 2.33460KinD [ 41 ] 0.0804 20.8665 0.8022 1.40910Zero-DCE [ 11 ] 0.1370 16.7955 0.5573 2.00380RUAS [ 24 ] 0.1534 18.2260 0.7170 1.92540KinD++ [ 40 ] 0.0679 21.3003 0.8226 1.48990AGLLNet [ 26 ] 0.1268 20.2400 0.7900 1.63830URetinex-Net 0.0832 21.3282 0.8348 1.22340NPE [ 32 ] 0.1486 16.1973 0.7177 1.28480SRIE [ 9 ] 0.2058 14.0580 0.6420 1.24920LIME [ 12 ] 0.1472 15.4572 0.7001 1.39350RRM [ 22 ] 0.1601 15.9489 0.6892 1.50840SICE LR3M [ 30 ] 0.1940 14.2086 0.6073 1.94820Retinex-Net [ 34 ] 0.1382 15.9080 0.7052 1.53770KinD [ 41 ] 0.1151 17.7330 0.7588 1.66840Zero-DCE [ 11 ] 0.1330 16.9090 0.7554 1.26130RUAS [ 24 ] 0.2628 10.9878 0.5451 2.55650KinD++ [ 40 ] 0.1060 18.5942 0.7762 1.48270AGLLNet [ 26 ] 0.1463 16.0006 0.7336 1.51960URetinex-Net 0.1068 18.9467 0.7808 1.27440为了验证相似性，我们使用MAE、PSNR、SSIM和LPIPS [37]作为评估指标。PSNR和SSIM值越高，图像质量越好。相反，MAE和LPIPS值越低，图像质量越好。0LOL数据集上的定量结果如表1所示。0显然可以看出，我们的方法在大多数指标上优于其他方法，只是在MAE方面稍微逊色于KinD和KinD++。在PSNR、SSIM和LPIPS方面，我们的结果比其他所有方法都要好得多，这表明了我们提出的方法的有效性。可视化比较结果请参见补充材料。0为了验证该方法的泛化性能0为了验证我们提出的URetinex-Net的泛化性能，我们在SICE数据集上进行了进一步评估，而无需重新训练或微调。结果报告在表1和图4中。与其他方法相比，URetinex-Net对未见场景的泛化能力更好。从图4中可以观察到，一些模型，如NPE、SRIE、LIME、Retinex-Net和Zero-DCE，在增强后引入甚至放大噪声，导致严重的噪声失真。0当增亮暗区时，RRM在其目标函数中引入了一个噪声项和一个精心设计的正则化项，但它无法保留小细节。KinD++可以去除噪声，但由于过度锐化而导致不自然的外观（请参见图4（e）中花后面的墙壁），这导致了不自然的外观。RUAS由于忽略了反射率而导致过曝（请参见图4（f）中的叶子）。AGLLNet是基于多分支CNN的架构0而我们提出的模型在所有指标上都优于没有Retinex设置的基于架构的模型，这证明了我们基于Retinex的展开策略的有效性。0此外，我们还对进行了广泛的视觉比较0MEF数据集。我们在图5中报告了性能和速度方面排名前5的方法。虽然传统的基于模型的方法可以在一定程度上恢复低光图像，但在迭代优化过程中耗时较长。相比之下，我们的方法在推理过程中节省了更多时间。此外，作为一种基于学习的低光图像增强方法，Zero-DCE具有快速的处理速度，但其在噪声抑制和达到满意效果方面能力有限。KinD++和RUAS以后处理的方式去除噪声，但可能带来其他问题，如丢失细节、模糊甚至更差的图像质量。与所有这些方法相比，我们的模型能够在抑制噪声和保留细节的同时充分展现低光图像。这表明，与精心设计的计划先验相比，我们的展开模块可以施加更强大的隐式先验。特别是，我们的模型展示了恢复细节的独特优势，这说明了我们展开优化的优越性。更多的比较结果和分析请参见补充材料。04.3. 消融研究0消融研究的结果报告在表2中。0我们首先通过与刚性初始化方式（例如，L0 = max c 2{R,G,B} ˆI(c)）进行比较，分析了我们的初始化模块的有效性。然后，为了研究将光照层融合到学习正则化项上以引导反射率的效果，我们从网络GR的输入中移除了Qk，而其余设置与URetinex-Net相同。为了说明效果tiveness of our unfolding optimization module, we furthersimply stack the network of GR and GL for T times and dis-card the unfolding optimization, which keeps the same net-work capacity as URetinex-Net. Finally, we investigate theperformance of our URetinex-Net under different choices ofstage T. The fifth row in Table 2 shows our default settingas the anchor. The first row shows that removing our ini-tialization module leads to performance significantly drops.This is because rigid initialization may destroy the statisti-cal characteristics of intensity for three channels of the in-put image, further impacting the learning capacity of ourunfolding module. The second row indicates that the per-formance drops when discarding the unfolding optimiza-tion module, which further demonstrates the importance ofour unfolding optimization module. In the third row, weobserve that the performance degrades when removing thethe guidance of the illumination layer. The results of theunfolding stage selection are shown in the final four rowsof Table 2. Obviously, the model without unfolding mech-anism (i.e., T = 1) performs worst in PSNR, SSIM andLPIPS. Through visual comparison in Fig. 6, we can easilyobserve that poor details preserving and color distortion re-mains on the enhanced results with T = 1, while a cleanerone can be obtained by using unfolding optimization. Based59080（a）输入（b）LIME（0.062）（c）RRM（8.550）（d）Zero-DCE（0.002）（e）KinD++（0.163）（f）RUAS（0.005）（g）我们的（0.027）0图5. MEF数据集上的视觉比较。处理这3个输入的平均时间（s）在括号中报告。放大以获得最佳视图。0表2.在LOL数据集上进行消融研究的PSNR、SSIM、LPIPS和推理时间的定量结果，其中IM、UOM和IG分别是所提出的初始化模块、展开优化模块和光照引导的缩写。注意时间以毫秒（ms）表示。0方法 IM UOM IG T PSNR ↑ SSIM ↑ LPIPS ↓ 时间 ↓0无 IM � X X 3 20.0992 0.7