基于递归注意学习的深度对称网络用于欠曝光图像增强

12075基于递归注意学习的Lin Zhao1 *Shao-Ping Lu1*Tao Chen2Zhenglu Yang1ArielShamir31 TKLNDST，CS，南开大学，天津，中国2大象科技，中国3以色列赫兹利亚跨学科中心lin-zhao@mail.nankai.edu.cn;{slu，yangzl}@nankai.edu.cn; vcg.com; arik@idc.ac.il摘要欠曝光图像增强在许多研究领域都具有重要意义。在本文中，我们把这个问题看作是欠置图像与其配对增强版本之间的图像特征转换，并提出了一个深度对称网络来解决这个问题。我们的对称网络采用可逆神经网络（INN）进行图像之间的双向特征学习，并且为了确保相互传播可逆，我们专门构建了两对具有相同预训练参数的编码器-解码器。这种双向特征变换的可逆机制使我们能够避免颜色偏差并有效地恢复内容以用于图像增强。此外，我们提出了一个新的循环剩余注意力模块（RRAM），其中循环学习网络的目的是逐步执行所需的颜色调整。烧蚀实验执行，以显示我们的新体系结构的每个组件的作用。我们在两个数据集上进行了大量的实验，以证明我们的方法在曝光不足的图像增强中达到了最先进的效果代码可在www.example.com上获得https://www.shaopinglu。net/proj-iccv21/ImageEnhancement.html.1. 介绍由于大量的数码相机被广泛使用，数码摄影越来越受欢迎在日常生活中。尽管如此，不良的拍摄环境，不适当的相机参数，或缺乏摄影技巧可能会导致不满意的图像质量。很多时候，有必要调整照片的曝光感知方面，包括后处理中的颜色和局部细节。*表示同等贡献。图像增强仍然是一个挑战，特别是对于曝光不足的图像。 为了增强图像质量，需要颜色调整和图像的内容特征的保留。具有全局调整的传统算法，诸如直方图均衡化[31，40，41]、对比度调整[18，44]和伽马校正[22，42]，不能编辑和改变图像中的局部细节。基于深度神经网络的最新方法[7，11，21，34，46]在复杂的曝光不足条件下仍然会受到颜色偏差或伪影的影响。具体地，当图片在低光环境中拍摄为了纠正这种情况，不仅需要颜色调整，而且还需要内容恢复（参见图1中的示例）①的人。一些方法试图通过分别采用多个不同的模块然而，该方案可能引入累积的训练误差，并且导致视觉伪影。在本文中，我们将图像增强问题表述为图像对之间可逆特征变换的统一框架：曝光不足的图像及其增强版本（其可以是训练期间的地面实况）。因此，我们提出了一种基于可逆特征Transformer（IFT）的深度对称网络，其灵感来自最新的可逆神经网络（INN）[1，8，27，48]。为了使前向和后向传播操作高度可解，两对预训练的编码器-解码器（其完全共享相同的参数）被专门设计为应用图像对之间的相互转换（即，图像对之间的相互转换）。曝光不足和增强的图像）和相应的特征。我们的对称网络同步进行前向和后向学习，成功解决了由于配对图像缺乏海量训练数据和颜色特征学习困难而导致的图像颜色偏差问题。为了准确地恢复图像的所需特征，我们进一步提出了一个循环学习时间表，其中重新12076(a) 输入(b) DeepUPE（c）DeepLPF(d) 我们(e) GT图1. 不同方法在具有挑战性的图像上的结果。DeepUPE [46]和DeepLPF [34]是现在最先进的方法。我们的方法可以有效地调整图像的颜色，同时保证图像的结构和纹理特征。剩余注意力模块（RRAM）因为不同的权重被分配给fea- ture map的不同通道，所以我们的网络可以专注于恢复结构特征信息。在不增加网络参数的情况下，循环学习使我们的网络能够以逐步的方式学习复杂的特征变换，进而实现图像颜色的调整。在公共数据集上的大量实验证实了我们方法的优越性。我们的贡献可概括如下：• 据 我们 所知 ， 我们 是第 一 个将 可逆 神 经网 络（INN）引入曝光不足图像增强的人。我们的对称架构同步进行双向特征学习，与其他曝光不足图像增强解决方案相比，实现了最先进的结果。• 我们提出了一个经常性的学习计划的特征变换与经常性的剩余注意力模块（RRAM），允许逐步应用颜色调整，而不增加网络参数。2. 相关工作在过去的几十年中，已经引入了在这里，我们简要地讨论了一些重要的工作，特别是曝光不足的图像增强。此外，一些最相关的方法，我们的工作将在本节中提到。图像增强。有许多算法来调整像素值以用于图像增强。一些传统的算法提出增强图像的对比度和亮度。例如，Ying et al. [51]使用曝光融合框架来增强图像对比度。Aubry等人 [2]采用快速局部拉普拉斯滤波器来增强细节。最近，深度学习已经成功地引入图像增强。Gharbi等人 [11]介绍了一种用于颜色变换的双边网格处理网络。为了估计全局先验并获得令人满意的性能，He等人 [16]提出了一种条件网络基础网络。此外，利用基于深度强化学习的方法来美化图像[21，37]。最近的一些工作[7，23，24]也建立在生成式对抗网络（GANs）的基础上来解决这个问题。具体地，许多方法集中于增强极度曝光不足的图像。由于原始图像容易丢失内容信息，因此提出了各种方法来恢复这样的内容。这些方法中的一些还将恢复模块引入到图像增强流水线。然而，这类处理机制会导致累积的训练误差。Chen等人 [5]提出了一种端到端的管道来避免训练错误，专注于原始传感器数据而不是低光RGB图像。Xu等人 [49]依次恢复低频和高频层，对象在低频层恢复。 此外，根据Retinex 理论[28]，许多研究人员将低光照图像增强作为照明估计任务[14，29，30，36，47]。最近，一些特定的数据集也被引入，以适应各种图像增强任务的新的训练策略。例如，Jiang等人。 [25]采用基于U-Net的GAN用于来自不同数据集域的低光图像 Guo等人 [13]提出了一个可以在没有地面实况的情况下进行训练的网络，以避免过度拟合的风险。Yang等人。 [50]提出了使用半监督学习来增强图像的DRBN，并从高质量图像中获得感知指导。一些现有的方法试图在保证原始图像的特征分布的同时增强图像。例如，Wang等人 [46]设计了一个图像到照明映射模型来学习复杂的图像调整过程。但是，不存在对图像的全局调整。Moran等人。 [34]提供了一种新的方法，可以学习空间局部滤波器来增强图像。然而，它没有考虑全局过滤器，结果可能会引入一些颜色偏差。相反，我们的对称网络在执行图像增强时既保持颜色一致性又恢复内容。最后，还有一些其他任务，如面部增强[10，39]和阴影增强[52]。相比120771···22···12对于这些特定的主题，我们的工作更一般地用于增强各种曝光不足的图像。循环注意力模型。 不同于其他前馈学习形式上，该传播工作为：xfL1=E1（xLQ），神经网络中，递归神经网络（RNN）通常以序列数据为输入，在序列的进化方向上以递归方式xfH1xHQf=IFT（xfL1），=D1（xfH1），（一）序列[17]。RNN最初用于解决自然语言处理问题[32，45]，最近它已被引入计算机视觉任务[9，12，35]。此外，Mnih等人提出了循环注意。 [33]图像分类。随后，具有相似思想的不同模型被广泛用于其他任务。例如，Chenet al. [6]提出一种基于RNN的视觉注意力模型来学习用于3D形状分类的视图序列;其中XLQ表示输入图像。分别表示编码器、解码器和IFT的输出结果。[E1（），D1（）]和IFT（）分别是前向编码器-解码器和前向特征变换。类似地，第二对编码器-解码器和IFT涉及反向传播，其可以被公式化为：Haque等人。 [15]将循环注意力模型引入到人物识别中;在[26]中，一种软注意力机制，xfH2xf=E2（xHQ），=IFTR（xf），（二）nism用于对象跟踪，Bendre等人 [3]提出了一个RNN的帧序列用于人类动作识别[3]。据我们所知，我们是第一个引入经常性的注意计划曝光不足的图像增强问题。3. 对称网络我们的对称网络的整体架构如图所示。2，其中在训练过程期间进行双向传播操作当网络执行前向操作时（见绿色虚线箭头），要增强的输入图像用前向变换处理当向后操作被处理时（见红色虚线箭头），地面实况被重新计算。L2H2xLQf=D2（xfL2），其中XHQ表示地面实况。 x fH、x LQf和x fL分别是相应的结果。[E2（），D2（）]和IFTR（）分别表示后向编码器-解码器和后向特征变换。因此，我们的网络在两个传播方向上保持了特征的一致性，并且双向约束解决了曝光不足图像的颜色偏差问题。3.1. 预训练编码器和解码器如图2、采用对称的编解码器结构进行图像与特征的转换，保证了特征的完整性。我们的目的是确保（xf，转移到曝光不足的版本。这个符号-度量框架使我们的任务在一个xfL2 ）和（xfH1L1，xfH）是高度一致的，并且它们双向传播方式我 们 的 对 称 网 络 包 含 一 个 可 逆 特 征 Transformer（IFT），它基于最新的INN [1，8，27，48]。注意，由于缺乏深度特征，当在图像块上直接应用现有INN架构这要求图像特征的更复杂的重组以满足双向传播操作应该是高度可逆的硬约束因此，我们专门设计了共享相同参数的两对预训练的编码器-解码器网络。在我们的系统的两个传播侧，编码器被用来执行从图像到其相应的特征的转换，而解码器被设计为将特征转换为相应的图像。对于前向传播，我们使用第一对编码器-解码器在图像和它们的对应特征之间进行转换，并且我们的IFT执行前向特征保留全局图像特征，使得图像的结构信息将在未曝光的图像增强中被很好地保留。为了确保所提出的框架是可逆的，我们进一步约束编码器的参数与解码器的参数完全相同。在我们的解决方案中，这些参数是从在ImageNet上预训练的VGG-16模型的前两个卷积层中提取的[43]。注意，使用更多的CNN层，全局特征将被损坏，并且重建结果将因此受到影响。3.2. 可逆特性Transformer（IFT）曝光不足的图像通常具有颜色和内容的损失问题。 为了在没有人为因素的情况下正确地恢复它们，我们的IFT不仅学习低质量到高质量图像之间的正向映射，而且还学习从高到低的反向映射。我们的IFT由几个可逆块（默认为8）。 对于第i个块，输入特征Xfi根据下式被等分为Xfi和Xfi。1 212078L编码器11简体中文编码器2IFT2H 1L解码器2解码器1去卷积前Deconv2前Deconv2前去卷积前2···.h=−1122fofo2 2112IBIFTES222平均分配RRAMRRAMIBRRAM2…IB1纳入H11L：逐元素加法：逐元素乘法：共享参数图2.我们的方法的整体网络架构绿色和红色虚线箭头分别表示网络的双向传播操作preConvi和preDeconvi分别指使用预训练VGG-16 [43]的i（i=[1，2]）个卷积层参数的卷积和反卷积 在特征xfi进入第i个可逆块（IB）之前，xfi根据通道的数量被等分为xfi和xfi。1 2到通道号，然后通过转换模块：多轮循环学习。我们再学习的核心思想是把要解决的任务分成几个连续的步骤，我们学习颜色调整梯度。一期+1xfi−Ti，3（xfi）通常用于曝光不足的图像增强。 作为xf=12，1ES（Ti，1（xfi））（三）图 3显示，我们使用[h1，h2，… 表示序列xfi+1=xfi−Ti，2（xfi+1），其中Ti，j（）是指第i个块中的第j个（j=1、2或3）变换模块ES（）表示sigmoid函数，后跟指数。 我们使用ES（）作为乘法器来增强转换能力。同样，当发生反向传播时，很容易得出：作为RNN，t是循环轮的数量。而且，隐藏状态使用多轮内存，可以存储前几轮得到的特征信息。我们网络中的功能使用元素加法来减轻每个模块的学习任务。正式来说，第t轮：ii+1一期+1t0，如果t=1ht−1+xt−1，否则、（五）xf2=xf2+Ti，2（xf1），x f i = x f i +1 ES（T i，1（xf i））+T i，3（x f i）.（四）fo其中，Xt-1是残余软信道atten的输出3.3. 重复性剩余注意模块在许多曝光不足图像和地面实况图像对中，存在使用现有方法非常难以克服的明显色差。因此，我们引入了一个递归剩余注意模块（RRAM）来解决这个问题。考虑到图像间颜色特征的变换学习仍然是一个很大的挑战，本文采用RRAM作为多轮递归模块，在不增加网络参数的情况下，通过使用t轮递归的注意力第（t1）轮的运动机制。因此，第t轮递归表示为：t=fRSCA（Wh ht+Wx xfi），（6）其中RSCA表示剩余软信道注意机制，Wh和Wx表示平衡权重。我们选择Wh=Wx=1和t=3。 通过这种设计，隐藏状态有效地包含先前学习的特征信息，并且它可以集中在每轮中遗漏的因此，RRAM模型可以有效地学习曝光不足图像与其地面真实值之间的明显色差。前Conv1Conv2前Conv2前前Conv1X12079Σ¨2··2× ×××··foLNLQfLQ1Σ123ℎ2ℎ3图4. 我们剩余的软通道注意力机制。池化应用2D自适应平均池化。C、H和W代表通道的数量、长度和宽度，图3.我们的RRAM结构图蓝线表示隐藏状态的转移RSCA是指剩余软信道注意机制。[i，j]Conv表示具有i×i核大小和j×j步长的卷积算子残留软通道关注机制。采用剩余软信道关注机制，使网络在信息传输中更多地关注信道结构。功能。3.4. 损失函数我们使用的L2距离作为训练的损失函数在这两个传播操作。前向传播操作的损失函数被定义为：Nmation 如图4、该机制首先在变换中进行特征学习，具体如下：=1xHNi=1总部f-x总部（12）xh=fC（δ（fC（xfi））），（7）其中fC（）和δ（）表示卷积的函数，Prelu、xfi和xh表示机构的输入和获得的特征。其次，相互依存关系X通道H 动态学习。 为了实现这一目标，其中N表示训练图像的数量类似地，反向传播损失函数为：N=¨x− x¨。（十三）i=1全局平均池化将CHW特征x H作为SENet [19]，其在一定程度上具有全局感受野通过学习注意力地图，我们自动获得每个特征通道的重要性Mo=fCS（fCR（Mi）），（8）其中，f CS（）和f CR（）表示卷积，然后是S形层，以及卷积，然后是Prelu层。mo是用于与xh相乘的所获得的软注意力图。此外，我们使用残差学习来优化网络，如下所示：xfo=xh×Mo+xfi，（9）其中Xfo表示机构的获得特征。如前所述，特征在转移到每个可逆块中时被均等地分成两部分（即，图中的紫色虚线框）。2）的情况。为了充分提取通道的特征信息和通道间的关系，我们将特征数量加倍并恢复在RRAM的前端和末端中的通道xfi=δ（fC（xin）），（10）x_out=f_C（x_t），（11）因此，最终的训练损失被定义为两个上述损失的加权和：tr=λH其中λH和λL是指平衡权重。在我们的训练中，我们根据经验设置λH=λL=1。4. 实验数据集。我们在两个基准数据集上测试了我们的网络，这两个基准数据集是MIT-Adobe FiveK数据集[4]和LOL数据集[47]。在MIT-AdobeFiveK数据集中有5000张低质量的图像，每张图像由五位专家处理。我们遵循[7，34，37，46]选择专家C的调整后图像作为基础事实。原始的MIT-AdobeFiveK数据集仅表示曝光不足图像的一些特定分布，这可能导致在面对输入的大分布变化时泛化能力差。在[37]中，使用多个随机失真算子对地面实况进行预处理，以进一步合成各种曝光不足的结果作为输入。在这里，我们完全遵循这个处理。前4500幅图像和后500幅图像分别用于训练和测试。我们使用LOL数据集[47]来测试我们的网络的性能，其中x_in和x_out指示极度曝光不足图像的输入和输出特征LOL数据集[47]包含按轮次展开ℎ[3，1]转换PReluRSCA[3，1]转换MC × H × WC × H × WC × 1 × 1���ℎMC × 1 × 1注意力图RSCARSCA乙状RSCA[1，1]转换PRelu[1，1]转换池化[3，1]转换PRelu[3，1]转换12080foRRAM。x fi和x t是我们的输入和第t500个低/正常光真实图像对，并且我们使用400对注意机制用于训练和100对用于测试。12081×(a) 输入（b）零DCE(c) RetinexNet(d) 石灰(e) EnlightenGAN(f) DRBN(g) KinD（h）EFF(i) HDRNet(j) DPE配对(k) 失真与恢复(l) 白盒(m) DeepUPE（n）DeepLPF(o) CSRNet(p) 我们的-无RL(q) 我们(r) GT图5. MIT-Adobe FiveK数据集中曝光不足图像的不同方法的视觉结果[4]。在这里，我们还展示了我们的方法在没有递归学习（RL）的情况下的结果。实施详情。我们的网络在Pytorch [38]和Jittor [20]平台上使用一个Nvidia 2080Ti GPU实现。对于每个数据集的训练，我们将原始图像随机裁剪成180个180个补丁，并应用ADAM优化器，初始学习率为2 e-4。对于MIT-Adobe FiveK数据集，网络训练了200个epoch，每50个epoch学习率降低一半对于LOL数据集，所考虑的历元数是250和100。我们使用PSNR和SSIM作为图像质量评价标准进行测试。更高的PSNR和SSIM值意味着更好的结果。4.1. 与最新技术水平的为了验证该方法的有效性，我们将其与其他14种现有方法进行了比较：HDRNet [11]、DPE（配对）[7]、失真和恢复[37]、白盒[21]、用于曝光不足图像的CSRNet [ 16 ]、零DCE [13]、RetinexNet [47]，石灰[14]，EFF [51]，Enlighten-GAN [25]，DRBN [50]，KinD [53]用于极度欠置图像，DeepUPE [46]，DeepLPF [34]用于两者。为了确保比较的公平性，我们重新训练了所有方法。定量比较。我们在Tab中显示了这些方法在两个数据集上的结果。1.一、从上到下的三个部分分别是着重于弱光增强、图像修饰以及两者兼而有之的方法。我们的方法达到了最高的值，除了SSIM在LOL数据集。定性比较。评估应用于两个数据集。我们从MIT-Adobe FiveK数据集中选择曝光不足的图像，以显示与图中所有方法的比较。五、可以看出，Zero-DCE、LIME和White-Box存在颜色偏差，RetinexNet、EFF、DRBN和Distort-and-Recover无法调节图像亮度。方法LOLFiveKPSNR/SSIMPSNR/SSIMZero-DCE [13]13.08/0.47012.30/0.673RetinexNet [47]17.03/0.70720.20/0.781石灰[14]16.92/0.54014.30/0.731[25]第二十五话17.79/0.76921.28/0.818EFF [51]16.94/0.59218.15/0.784DRBN [50]19.24/0.84721.71/0.855[53]第五十三话20.08/0.82221.72/0.833人类发展报告网[11]19.62/0.71623.29/0.842DPE（配对）[7]18.08/0.65921.67/0.846扭曲[37]20.46/0.66621.29/0.812白盒[21]17.59/0.63317.30/0.755CSRNet [16]19.57/0.68124.13/0.878DeepUPE [46]16.78/0.46820.83/0.795DeepLPF [34]16.58/0.67821.82/0.845不带RL20.63/0.82623.32/0.888我们21.71/0.83424.27/0.900表1. 不同方法在MIT-Adobe FiveK数据集[4]和LOL数据集[47]上的定量结果。“w/o RL”是指我们的方法没有循环学习，“Distort”是Distort-and-Recover。DeepLPF不恢复本地信息。DPE配对和CSRNet无法正确 调 整 图 像 颜色 EnlightenGAN 、 KinD 、 HDRNet 、Distort-and-Recover和DeepUPE在图像中产生伪影，导致一些纹理细节消失。如图6、对图像修图的方法进行比较当在输入和地面实况图像对之间存在色差时，我们的结果与图1中的结果更一致。12082(a) （b）人类发展报告网(c) DPE配对(d) 失真与恢复(e) 白盒(f) DeepUPE(g) DeepLPF(h) CSRNet(i) 我们(j) GT图6.与MIT-Adobe FiveK数据集[4]中图像修饰方法的比较结果(a)输入（b）零DCE(c) RetinexNet(d) 石灰(e) EnlightenGAN(f) DeepLPF(g) DeepUPE（h）DRBN(i) EFF(j) 种(k) 我们(l) GT图7.低光图像增强方法在LOL数据集中的图像上的结果[47]。比其他方法更真实。此外，我们在LOL数据集上与低光图像增强方法进行了比较，图1。7显示了一些极度曝光不足的场景的结果。通常，从RetinexNet、DeepLPF、KinD和DRBN获得的那些结果不能很好地恢复颜色。此外，它揭示了 诸 如 Zero-DCE 、 LIME 、 Deep-UPE 、 EFF 和EnlightenGAN的一些方法总的来说，我们的方法实现了更好的效果，增强极度曝光不足的图像。4.2. 消融研究如图所示7和Tab。1、大多数方法在LOL数据集上都不能取得令人满意的结果，所以我们使用该数据集进行消融实验，详细解释了我们每个模块的作用。在选项卡中。2、从三个不同的方面进行了实验，验证了双向变换和损耗、RRAM、对称结构的效果。对于双向变换，我们取消了向后损失，以验证IFT的意图我们还将损失函数更改为l1，以最大化PSNR [7]进行比较。对于RRAM，我们将其更改为其他网络。此外，我们去除了注意机制来评估它的有效性，并改变重复的次数以证明重复学习的合理性。为了验证对称架构的作用，我们改变了可逆块的数量，并特别用以前基于INN的网络中通常使用的Haar小波替换了我们预先训练的编码器-解码器[27，48]。表1中每个变化的PSNR和SSIM。2显示每个模块有助于性能改进。为了进一步说明注意力的具体作用和双向损失的对称结构，在图。8我们显示了一些代表性图像的比较结果。图8（b）表明，一旦在RRAM中移除注意力，我们的方法就无法恢复一些内容。当网络不执行反向学习时（见图1）。8（c）），其在图像的照明部分中引起误差。此外，基于Haar小波的结果存在明显的伪影。最后，我们也验证了我们的循环学习计划的有效性。如可见于图图5（p）-（q）和图5（p）-（q）。如图9（b）-（c）所示，当我们比较我们的网络在有或没有循环学习的情况下的结果时，很明显，只有在循环学习的情况下，网络才能正确地学习图像颜色的此外，PSNR/SSIM值将下降（表1）。1）在两个数据集上，没有重复学习。12083(a) 输入(b) 无注意（c）有单向损失(d) Haar小波(e) 我们(f) GT图8.我们的方法在LOL数据集中的图像上的不同消融实验的视觉结果[47]。我PECSRNetDeepUPEDeepLPF我们专家23.20%7.60%8.80%60.40%业余选手24.13%8.40%22.13%45.33%（a）输入（b）我们-无RL（c）我们-有RL（d）GT图9.具有/不具有我们对图像的反复学习的视觉结果，即应该执行明显的颜色调整。条件PSNRSSIML2→ L1丢失L2→PSNR损失w/o后向损失-0.98-0.20-1.28-0.024-0.007-0.014无注意-3.10-0.038RESBLK-3.50-0.067SE-RESBLK-1.32-0.034DenseNet-2.74-0.039不带RL-1.08-0.008两轮RL-0.42-0.009图41b-1.42-0.026Haar小波-1.74-0.027表2.在LOL数据集中，不同消融实验与我们方法的默认设置的定量比较[47]。这里4.3. 用户研究图像修饰的性能和美学受到个人偏见和专业知识的强烈影响。为了更好地评估我们的方法，我们邀请二十名参与者进行用户研究，其中五名专家是具有多年为股票照片机构工作的经验的专业摄影师/编辑，而其他人是随机搜索的图像增强领域的业余爱好者。我们从他们的日常修图任务中选择了50张原始照片，对于每个类别，我们随机选择10张照片。 我们相信这个测试集是一个很好的代表现实世界的修饰任务。对于每个图像，我们分别从CSR- Net，DeepLPF，DeepUPE和我们的方法中生成四个修饰结果的表3. 用户研究中首选方法的百分比。’Me’ and ’Pe’ present themethod and本文选取了三种在定量评价和可管理工作量方面性能较好的方法。所有模型都是来自MIT- Adobe FiveK数据集的训练模型，以测试网络的鲁棒性每位测试者都被要求综合考虑每张照片的颜色、亮度、对比度和伪影，选择最佳的修图结果（照片和结果在补充材料中分别统计每种方法在专家组和业余组的选择结果中所占的百分比。如Tab中所示。3、无论测试人员是专家还是业余爱好者，我们的方法都是首选的比例最高。5. 结论在本文中，我们提出了一个对称的深度网络，它包括一个可逆特征Transformer（IFT）和两对预训练的编码器-解码器。对称架构允许在训练期间在两个方向上传播，从而保持曝光不足和增强图像对的特征一致性。此外，我们的循环剩余注意力模块（RRAM）可以帮助系统更好地实现所需的颜色调整与复杂的功能转换。此外，通过关注特征通道之间的相互依赖性，RRAM中的剩余软通道注意机制使我们的网络更好地恢复结构特征。我们进行了大量的定量和定性的对比实验，以证明我们的方法的优越性。鸣谢。我们要感谢评审员和AC的宝贵意见。本研究部分由国 家 自 然 科 学 基 金 资 助 （ 编 号 ： 61972216 号62111530097 ） 、 天 津 NSF （ No. 18JCYBJC41300 和 No.18ZXZNGX00110），BNRist(No. BNR 2020 KF 01001 ） 和以 色列 科 学基 金会 资 助号1390/19。卢少平为本文通讯作者12084引用[1] LyntonArdizzone ， CarstenL üth ， Ja k obKruse ，CarstenRothe r，andUllrichKüthe.使用条件可逆神经网络的引导图像生成arXiv预印本arXiv：1907.02392，2019。第1、3条[2] Mathieu Aubry，Sylvain Paris，Samuel W Hasinoff，JanKautz和Fr e'doDurand。快速局部拉普拉斯滤波器：理论与应用。ACM TOG，33（5）：1-14，2014. 2[3] Nihar Bendre，Nima Ebadi，John J Prevost，and PeymanNa- jafirad.使用深度神经模糊递归注意模型的人类动作性能。IEEE Access，8：57749 3[4] Vladimi rBychko vsky，Syl vainParis，EricChan，andFre´doDurand.使用输入/输出图像对的数据库学习摄影全局色调调整在CVPR，第97- 104页五、六、七[5] Chen Chen，Qifeng Chen，Jia Xu，and Vladlen Koltun.学会在黑暗中看东西。在CVPR，第3291-3300页2[6] Songle Chen，Lintao Zheng，Yan Zhang，Zhixin Sun和Kai Xu。Veram：用于3d形状分类的视图增强递归注意模型IEEE TVCG，25（12）：3244-3257，2018。3[7] 陈玉生、王玉清、高满新、庄永玉。深层照片增强器：基于非配对学习的gans图像增强算法。在CVPR中，第6306-6314页，2018年6月。一、二、五、六、七[8] Laurent Dinh，Jascha Sohl-Dickstein，and Samy Ben-gio.使 用 实 nvp 的 密 度 估 计 。 arXiv 预 印 本 arXiv ：1605.08803，2016。第1、3条[9] JeffreyDonahue 、 LisaAnneHendricks 、 SergioGuadarrama、MarcusRohrbach、SubhashiniVenugopalan、Kate Saenko和Trevor Darrell。用于视觉识别和描述的长期递归卷积网络在CVPR，第26253[10] Shan Du和Rabab K Ward。基于区域的自适应图像增强方法在变光照条件下的鲁棒人脸识别。IEEE TCSVT，20（9）：1165 2[11] Mi c ha e？ lGharbi ，Ji a wenChen ，JonathanTBarron ，SamuelWHasino f f，andFre？doDurand. 用于实时图像增强的深度双边学习ACM TOG，36（4）：1-12，2017.一、二、六[12] Karol Gregor 、 Ivo Danihelka 、 Alex Graves 、 DaniloJimenez Rezende和Daan Wierstra。 抽签： 一 递归神经网络图像生成。arXiv预印本arXiv：1502.04623，2015。3[13] Chunle Guo，Chongyi Li，Jichang Guo，Chen ChangeLoy，Junhui Hou，Sam Kwong，and Runmin Cong.用于弱光图像增强的零参考深度曲线估计。在CVPR中，第1780-1789页，2020年。二、六[14] 郭晓洁，李宇，凌海滨。Lime：通过照明图估计进行低光图像增强。IEEE TIP，26（2）：982-993，2016。二、六[15] Albert Haque，Alexandre Alahi，and Li Fei-Fei.用于基于深度的人物识别的循环注意模型。在CVPR，第1229-1238页，2016年。3[16] Jingwen He，Yihao Liu，Yu Qiao，and Chao Dong.有条件的顺序调制有效的全球图像润饰.在ECCV，2020年。二、六[17] 约翰·J·霍普菲尔德神经网络和物理系统与新兴的集体计算能力。美国国家科学院院刊，79（8）：25543[18] 一个豪伊。图像对比度和局部信号选择技术。Journalof Microscopy，117（1）：11-23，1979. 1[19] 杰虎，李申，孙刚。挤压-激发网络。在CVPR中，第7132-7141页，2018年。五、八[20] Shi-Min Hu ， Dun Liang ， Guo-Ye Yang ， Guo-WeiYang，and Wen-Yang Zhou.Jittor：一个具有元运算符和统一图形执行的新型深度学习框架。Science ChinaInformation Sciences，63（12）：1-21，2020. 6[21] 胡渊明，何昊，徐晨曦，王宝源，林志颖。Exposure：一个白盒照片后处理框架。ACM TOG，37（2）：1-17，2018. 一、二、六[22] 黄世嘉、郑凡杰、邱义胜。使用具有加权分布的自适应伽马校正的有效对比度增强。IEEE TIP，22（3）：1032 1[23] Andrey Ignatov 、 Nikolay Kobyshev 、 Radu Timofte 、Kenneth Vanhoey和Luc Van Gool。使用深度卷积网络在移动设备上拍摄数码单反品质的照片在ICCV，第3277-3285页，2017年。2[24] Andrey Ignatov 、 Nikolay Kobyshev 、 Radu Timofte 、Kenneth Vanhoey和Luc Van Gool。Wespe：用于数码相机的弱监督照片增强器。在CVPRW，第691- 700页2[25] Yifan Jiang，Xinyu Gong，Ding Liu，Yu Cheng，ChenFang，Xiaohui Shen，Jianchao Yang，Pan Zhou，andZhangyang Wang.启迪：无需配对监督的深度光增强。arXiv预印本arXiv：1906.06972，2019。二、六[26] Samira Ebrahimi Kahou 、 Vincent Michalski 、 RolandMemi-sevic、Christopher Pal和Pascal Vincent。注意力追踪模型。在CVPRW，第16133[27] Durk P Kingma和Prafulla Dhariwal。Glow：具有可逆1x1卷积的生成流。在NeurIPS，第10215-10224页，2018年。一、三、七[28] 埃德温·H·兰德色觉的视网膜理论。科学美国人，237（6）：108-129，1977。2[29] Mading Li，Jiaying Liu，Wenhan Yang，Xiaoyan Sun，and Zongming Guo.通过鲁棒的retinex模型进行结构揭示的低光图像增强IEEE TIP，27（6）：28282[30] Xujie Li，Hanli Zhao，Guizhi Nie，and Hui Huang.基于测地距离的颜色协调图像Computational Visual Media，1（2）：143-155，2015. 2[31] Shao-Ping Lu ， Sen-Mao Li ， Rong Wang ， GauthierLafruit，Ming-Ming Cheng，and Adrian Munteanu.混合分辨率多视图视频的低秩约束超分辨率。IEEE TIP，30：1072-1085，2021。1[32] To ma´sˇMi k ol ov、Ste f anKombrink、Lu ka´sˇBu r get、Jan Cˇernock y`和Sanje e vKhudanpu r。递归神经网络语言模型的扩展在ICASSP，第5528- 5531页，2011中。312085[33] Volodymyr Mnih ， Nicolas Heess ， Alex Graves ， andKoray Kavukcuoglu.视觉注意的循环模型。arXiv预印本arXiv：1406.6247，2014。3[34] Sean Moran，Pierre Marza，Steven McDonagh，SarahParisot，and Gregory Slabaugh. Deeplpf：用于图像增强的深度局部参数滤波器。在CVPR中，第12826-12835页，2020年。一、二、五、六[35] Lichao Mou，Pedram Ghamisi，and Xiao Xiang Zhu.用于高光谱图像分类的深度递归神经网络IEEE TGRS，55（7）：3639-3655，2017。3[36] 齐沐，王新月，魏艳艳，李占利。使用加权引导图像滤波的低和非均匀照明彩色图像增强。计算视觉媒体，2021年。2[37] Jongchan Park，Joon-Young Lee，Donggeun Yoo，andIn So Kweon.失真和恢复：使用深度强化学习进