代表性颜色变换：一种用于图像增强的新方法

4459用于图像增强的Hanul Kim1，Su-Min Choi2，Chang-Su Kim3，Yeong Jun Koh2 *1首尔国立科技大学2忠南国立大学3高丽大学hukim@seoultech.ac.kr，www.example.com，smchoi@o.cnu.ac.kr，www.example.com，网址：changsukim@korea.ac.kr，网址：yjkoh@cnu.ac.kr，网址：www.example.com摘要近年来，编码-解码器和强度变换方法在图像增强方面取得了令人瞩目的进展。然而，编码器-解码器在下采样和上采样过程期间经常丢失输入图像中的细节。而且，强度变换具有有限的能力来覆盖低质量图像和高质量图像之间的颜色变换。在本文中，我们提出了一种新的方法，称为代表性颜色变换（RCT），以解决这些问题，在现有的方法。RCT确定输入图像中专门的不同代表性颜色然后，它确定增强的颜色，使用这些转换的颜色之间的相似性的基础上输入和代表性的颜色。大量的实验表明，该算法优于最近的国家的最先进的各种图像增强问题的算法。1. 介绍如今，越来越多的人通过拍照来记录和分享他们的宝贵时刻。不幸的是，他们的照片往往有低动态范围或扭曲的色调，由于照明条件不足。因此，图像增强变得流行，以改善这些照片的视觉美学。对于图像增强，人们提出了许多尝试，并取得了相当大的进展特别是，一些研究[6，50，52，22]基于图1a中的编码器-解码器结构[38]通过从由低质量和高质量图像组成的大量成对数据在这些模型中，编码器从输入图像中提取特征以利用高分辨率图像。*通讯作者用于图像增强的水平上下文信息。解码器在恢复空间信息的同时将高级信息传送到低级虽然这些方法已经导致了性能的改善，他们有一些局限性。首先，在解码器的上采样过程中不保留输入图像的细节，即使它们采用跳过连接。其次，这些方法训练具有固定输入大小的网络，这使得难以在推理阶段增强任意空间分辨率的图像为了克服这些问题，一些方法[7，21，34，16，25，13]估计变换函数以全局增强图像，如图1b所示。由于这些全局增强方法不需要用于图像增强的下采样和上采样过程，因此可以在保留细节的同时增强图像。然而，现有的全局方法依赖于特定颜色空间上的亮度变换函数，如RGB [21，13]或CIELab [7]、预定义查找表[54]和预定义增强操作[34，16，25]。此外，它们执行通道式颜色变换，因此不能同时考虑所有这些预定义的模型具有有限的能力来覆盖低质量和高质量图像之间的颜色变换在本文中，我们提出了一种新的增强方法，称为代表性颜色变换（RCT），有效地实现了大容量的颜色变换。首先，我们对输入图像进行编码以提取用于图像增强的高级上下文信息。使用高级上下文，我们确定输入图像的代表性颜色，并估计代表性颜色的转换颜色，如图1c所示。然后，我们计算输入图像和嵌入空间中的代表颜色之间的相似性。最后，我们发展了一种代表性的颜色变换，通过结合相似性和代表性的颜色变换来获得增强的图像。基于所提出的RCT，我们提出了一个代表性的颜色变换网络（RCTNet），它包含：4460（一）(b)（c）第（1）款图1：图像增强方法的概述：（a）编码器-解码器，（b）强度变换，以及（c）代表性颜色变换模型。编码器、特征融合、全局RCT和局部RCT模块。所提出的RCTNet预测不同的代表性的颜色专门在输入图像中，如图1c和扩大的能力，通过结合几个代表性的颜色变换的颜色变换。实验结果表明，所提出的RCTNet在MIT-Adobe 5 K数据集上的性能优于最近的最先进算法[3]。此外，我们还验证了所提出的RCT在特定图像增强问题上的可扩展性：低光图像增强[49]和水下图像增强[28，19]。本文的主要贡献有三个方面：为了增强图像，提出了代表性颜色变换，以扩大颜色变换的容量.RCTNet的开发包括编码器、特征融合、全局RCT和局部RCT模块。我们表现出良好的可扩展性的RCTNet的各种图像增强问题。2. 相关工作图像增强的早期研究提高了输入图像的全局对比度。例如，使用预定义变换将输入像素值映射到输出像素值的幂律（gamma）和对数变换[12]是公知的增强方法。直方图均衡化[12]通过修改图像的直方图来改善图像的有限动态范围。已经基于这些方法开发了许多尝试[23，48，41，2，26]以增强视觉质量。目前的图像增强方法主要集中在基于数据驱动的方法学习低质量图像和高质量图像之间的映射函数。By-chkovsky等。[3]提供了MIT-Adobe 5 K数据集，其中包括5，000个输入图像，其中5个不同的摄影师手动增强每个图像。该数据集被广泛用于训练基于深度学习的图像增强模型。Yan等人[51]提出了第一个用于图像增强的深度学习模型，其中网络从手工制作的特征描述器预测像素级颜色映射。Lore等人[32]采用堆叠稀疏去噪自动编码器来增强低光图像。然而，这些方法[3，32]采用具有小感受野的神经网络因此，它们的模型可能不足以利用高级上下文来进行图像增强。图1a中的编码器-解码器结构[38]引起了对图像增强的极大关注。编码器通过减少输入的分辨率来逐步增加感受野的大小，以提取包含有用的高级信息的深度特征。从深层特征，解码器恢复原始分辨率，同时增强图像。基于编码器-解码器方法，Chenet al.[6]介绍了U-Net结构，它产生一个残差图像来增强输入图像。加尔比和al. [11]预测低分辨率图像中每个像素的仿射系数，并开发了双边插值方法，有效地恢复图像的原始分辨率。Wang等人[46]将输入图像分解为反射率和照度，并估计照度以增强输入图像。Xu等[50]开发了用于增强低光图像的基于频率的分解。Yang等[53]构建了两个编码器-解码器结构，用于图像校正。···4461×∈∈R∈Σ暴露的输入。Yang等[52]提出了深度递归带网络，并在半监督框架下对其进行训练。Kim等人[22]设计了编码器-解码器网络，以根据用户的偏好生成个性化图像。然而，这些编码器-解码器架构[6，11，46，50，52，22]具有在下采样和上采样过程中不保留输入图像的细节的问题此外，他们用固定的输入大小训练网络，这使得难以增强任意空间分辨率的图像。如图1b所示，一些方法[7，13，21，34，16，25，54]通过变换函数或预定义的增强操作来执行全局增强。 Deng等[7] CIELab颜色空间上的估计的分段强度变换函数。Guo等[13]开发了用于输入图像的动态范围调整的逐像素和高阶曲线。Kim等人[21]建议用于成对和非成对图像增强的非单调和通道式强度变换。在[34，16，25]中，神经网络被训练为基于深度强化学习在一些预定义的增强操作中选择最佳操作。 Zeng等人[54]用于全局图像增强的学习图像自适应三维查找表。这些基于全局的方法[7，13，21，34，16，25，54]可以增强低质量图像，而无需像编码器-解码器模型那样调整图像然而，它们的局限性在于，预定义的颜色空间、预定义的查找表或预定义的操作上的变换函数可能不足以估计低质量和高质量之间的高度非线性映射。marizes建议RCTNet架构。3.1. 代表性颜色变换令XRH×W ×3表示输入的低质量图像，其中H W是图像的空间分辨率。我们将其编码为特征表示Z以嵌入用于图像增强的高级上下文。给定Z，我们提取N个代表性颜色的特征和变换的颜色令R表示代表性特征的集合，其由下式给出：R=[r1，r2，…，rN]∈RC×N（1）其中，ri表示第i个代表颜色的特征向量，并且C是特征维度。此外，变换颜色的集合被定义为：T=[t1，t2，···，tN]∈R3×N（2）其中，ti表示第i个代表颜色的变换RGB值换句话说，第i个代表色应该被变换为ti以用于图像增强。注意，T包含仅N个代表性颜色的变换，而不是所有颜色。因此，我们应该将输入图像中的每个像素颜色映射到代表颜色。为此，我们计算输入颜色与嵌入空间中的代表特征之间的相似性，并基于相似性执行颜色变换。我们使用卷积层堆栈从输入X中提取图像特征FRH×W ×C然后，我们执行矩阵乘法以通过缩放点积[45]获得注意力矩阵A高质量的图像。相比之下，所提出的方法估计自适应代表颜色根据输入图像，并预测颜色变换为每个代表。FRA=softmax（√C）∈R HW×N（三）基于注意力机制的颜色选择。最后，我们回顾了基于调色板的图像增强方法[5，42]，该方法基于调色板颜色插值颜色。Chang等[5]使用K均值聚类设置初始调色板，然后用户手动更改调色板颜色以进行图像增强。Tan等人[42]使用包围输入颜色的凸包的顶点来确定初始调色板。所提出的算法是相关的因为代表性颜色类似于初始调色板。然而，该算法自动其中FrRHW× Ca是F的整形张量。A的元素a ij是表示输入图像中的第i个像素与第j个代表性颜色之间的相似性的注意力权重。因此，注意力矩阵针对输入图像中的每个像素确定T中的每个变换颜色上的所有相似性让我们考虑输入图像中的第i个像素的增强然后，第i个像素的增强的RGB值由表示的N个变换的颜色的组合确定。注意权重为的语义颜色Na ijtj. 到确定代表性颜色和它们的变换颜色，而它们需要用户交互来更新调色板。为此，增强图像Yj=1得到3. 方法在本节中，我们提出了代表性颜色变换（RCT），这是一个简单而有效的方法来改善输入图像的视觉质量基于RCT，我们开发了代表性颜色变换网络（RCT-Net），其中包含全局和局部增强模块，这些模块以端到端的方式进行训练。图2和-Y= ATT。（四）与现有的图像增强模型相比，所提出的RCT具有几个优点。首先，该方法具有很大的容量，以涵盖输入和增强图像之间的颜色变换。这是因为所提出的算法产生自适应的代表性的颜色专门在输入图像和增强输入图像的N个变换的颜色的组合的基础上4462××××∈∈∈∈×∈∈×∈∈×联系我们表1：编码器架构的规范。阶段操作输出0调整大小256×256×31conv-bn-swish，k3x3128×128×162conv-bn-swish，k3x364×64×323conv-bn-swish，k3x332×32×644conv-bn-swish，k3x316×16×1285conv-bn-swish，k3x38×8×256在图2中，具有单个输入的节点表示“conv-bn-swish”块 。 另 一 方 面 ， 具 有 多 个 输 入 的 节 点 在 “conv-bn-swish”块之前包含特征融合层，以有效地当M个输入被提供给特征融合层时，特征融合层的输出被定义为M6conv-bn-swish-pool，k1x11×1×1024Σwii=1JWJ（六）第二，所提出的方法是独立地对每个像素执行。换句话说，它可以增强任意大小的输入图像，而无需任何图像调整大小。这可以防止由于在调整增强图像的大小时出现的伪影（例如模糊）而导致的性能下降。3.2. 代表性颜色变换网络如图2所示，拟议的RCTNet由四个模块组成：编码器、特征融合、全局RCT和局部RCT。给定输入的低质量图像X，RCTNet生成高质量图像：Y~=αYG+βYL（5）其中，Y_G和Y_L分别是从全局和局部RCT模块获得的增强图像此外，α和β是非负的可学习权重，以有效地组合两个让我们随后描述每个模块编码器：编码器是一种卷积神经网络，用于对输入图像进行编码，以提取用于图像增强的高级上下文信息。表1描述了编码器的详细架构。将输入图像的大小调整为256256并被馈送到编码器中，该编码器包括一堆6个“conv-bn-swish”块。每个除了最后一个块之外的所有卷积层都有3个滤波器。与其他块不同，最后一个块使用具有11滤波器的卷积层，并且采用全局平均池化层来提取全局特征向量。在编码器中，我们从最后四个块中提取多尺度特征图，以将它们组合在特征融合模块中。功能融合：特征图根据分辨率提供不同的上下文信息。通常，由于大的感受野，粗尺度特征图包含全局上下文。相比之下，精细尺度特征图保留详细的局部上下文。由于全球和本地的背景是必不可少的图像增强，我们聚合多尺度特征图通过特征融合模块。为了构建特征融合模块，我们采用双向跨尺度连接[43]。在特征其中，w i是第i个输入Ii的非负可学习权重，并且n=0。0001所有节点都有128个卷积滤波器，大小为3 3，除了最粗尺度的节点（图2中的红色节点）。由于最粗糙特征图的空间分辨率为1×1，因此这些节点具有卷积滤波器尺寸1 ×1。全局RCT：令ZGRC’表示特征融合模块中最粗尺度的输出特征，其中C’被设置为128。通过分析包含图像增强全局上下文的特征向量ZG，全局RCT模块通过两个不同的“conv-bn-swish-conv”块确定代表性特征RGRC× NG和变换后的颜色TGR3× NG。一个'conv-bn-swish-conv'块产生具有CN G维度的向量，而另一个块产生具有3 N G维度的向量。 这些输出向量分别被整形为2D结构RG和TG。 在这项工作中，我们将C和NG分别设置为16和64。此外，输入im-将年龄转换为图像特征FRH×W ×C通过一个“conv-bn-swish-conv”块，F被整形为Fr R HW × C。最后，通过将R_G、T_G和F_r应用于（3）和（4）来获得全局增强图像Y_G。局部RCT：局部RCT模块确定区域代表性颜色以考虑局部区域特性用于图像增强。为此，当地RCT模块采用特征图ZLR32×32×C'，不包括在特征融合模块中从最细尺度提取，其空间分辨率为32 × 32。然后，给定Z_L，针对每个空间位置生成代表性特征和变换颜色的集合具体地，ZL被馈送到两个不同的并且每个第二卷积层分别具有大小为3×3的CN_L和3个N_L滤波器。然后，局部RCT产生代表性特征集RLR32×32× C × NL和变换后的颜色集TLR32×32×3× NL，其中NL= 16。为此，针对每个空间位置（u，v）获得代表性特征集RL（u，v）和变换颜色集TL（u，v）。给定RL和TL，局部RCT模块将不同的代表性特征集和变换后的颜色分配给O=·Ii4463Σ××·图2：拟议的RCTNet概述。模块通过提取图像特征F而无需任何下采样来增强输入图像而无需任何图像调整大小3.3. 损失函数让我们考虑一对（X，Y），其中X和Y分别是输入低质量图像及其高质量图像。给定X，所提出的RCTNet产生增强的图像Y~。然后，定义Y~和Y之间的损失函数为图3：本地RCT的图示。L=Y−Y1+λk=2、4、6φk（Y~）−φk（Y）（七）根据其像素坐标的输入颜色首先，我们在输入图像上设置一个31 31的均匀网格，因此有32 32个角点。我们把空间位置（u，v）上角点的表示特征和变换颜色分别记为RL（u，v）和TL（u，v）然后，在局部RCT模块中执行网格式RCT具体地，第k个网格Bk具有四个角点，这意味着Bk与四组代表性特征和变换的颜色相关。然后，我们determine的代表性特征Rk的网格Bk的连接，连接的四组代表性特征在角点。此外，类似地获得针对Bk的变换颜色Tk从图像特征F中，通过对网格区域进行裁剪来提取网格特征Fk最后，给定Rk、Tk和Fk，通过（3）和（4）计算Bk的增强颜色局部RCT模块针对所有网格重复该过程以产生局部增强图像YL。图3示出了如何针对网格Bk执行本地RCT的示例。为了简单起见，我们在这个例子中设置了一个5×5的网格虽然编码器需要固定大小的输入来提取多尺度特征图，但全局和局部RCT这里，第一项是预测图像和地面实况增强图像之间的平均绝对误差。第二项在定义良好的嵌入空间中惩罚它们之间的差异。具体来说，嵌入函数φ k（）是VGG-16 [ 40 ]中第k层的输出，它是在ImageNet [39]数据集上预先训练的。 超参数λ固定为0。平衡两项。4. 实验在本节中，我们通过大量的实验来验证所提出的方法的有效性：我们比较了所提出的算法与最近的国家的最先进的标准图像增强。我们评估了所提出的RCTNet在特定图像增强问题上的可扩展性：微光图像增强和水下图像增强。我们通过MIT-Adobe 5 K数据集上的消融研究分析RCT-Net的参数和组件[3]。···4464××表2：MIT-Adobe 5 K数据集的定量比较[3]。最好的结果用黑体表示，第二好的结果用下划线表示。法PSNRSSIM人类发展报告网[11]23.440.882DPE [6]23.340.873[46]第四十六话23.610.887DLPF [33]24.480.8873D LUT [54]25.210.922GEN-LEN [21]25.880.925RCTNet26.020.915RCTNet + BF26.070.923我们采用PSNR和SSIM指标进行定量评估，在所有的实验中，测量预测和地面实况图像之间的颜色和结构相似性补充材料中提供了更多结果。4.1. 数据集MIT-Adobe 5K：MIT-Adobe 5 K数据集[3]由5,000张图 像 组 成 ， 每 张 图 像 都 由 五 位 不 同 的 摄 影 师（A/B/C/D/E）手动增强。有五组（每个摄影师一组），由5,000对输入和修饰的图像组成。在这些集合中，我们仅使用由摄影师C修饰的图像，如在大多数现有图像增强方法中所做的那样[6，46，21]。我们将其分解为4，500和500张图像，分别用于训练集和测试集。低光（LoL）：LoL [49]是用于低光图像增强的数据集。LoL数据集包含500对低光和正常光图像，其中500对被分成485个训练图像和15个测试图像。我们使用训练图像来训练RCTNet，并使用测试图像进行实验。增强水下视觉感知（EUVP）：EUVP数据集[19]提供了水下图像的配对和未配对集合的子集。配对数据集将低质量和高质量图像对分为11435、570和515对，用于训练、验证和测试集。训练集和测试集中的对分别用于训练和评估。水下图像增强基准测试（UIEB）：UIEB数据集[28]包括890对水下图像及其增强图像。这些对被分成800和90，分别用于训练和测试我们使用800幅训练图像训练RCT- Net，并在测试集上对所提出的算法进行评估。4.2. 实现细节我们针对100、500、500和100个epoch训练所提出的模型，批次大小为8，用于MIT-Adobe-5 K、LoL、表3：LoL数据集的定量比较[49]。最好的结果用黑体表示，第二好的结果用下划线表示。方法PSNRSSIMNPE [47]16.970.589石灰[14]15.240.470SRIE [9]17.340.686RRM [31]17.340.686SICE [4]19.400.690DRD [49]16.770.559[55]第五十五话20.870.802DRBN [52]20.130.830ZeroDCE [13]14.860.559EnlightenGAN [20]15.340.528RCTNet22.670.788RCTNet + BF22.810.827EUVP和UIEB数据集。我们使用Adam optimizer [24]来最小化损失函数，初始学习率为5。010−4，权重衰减为1。010-5我们根据余弦学习率调度来降低学习率。根据文献[21]，我们随机裁剪图像，然后将它们旋转90度的倍数以进行数据增强。我们将超参数λ固定为0。04.4.3. 与最新技术水平的MIT-Adobe 5 K：我们将所提出的方法的性能与最新的最先进的方法进行了比较[11，6，46，33，54，21]。为了比较，我们获得现有的算法使用其公布的源代码和默认设置的结果。表2列出了MIT-Adobe 5 K数据集上的PSNR和SSIM性能。我们调整每个测试图像的大小，使其在每个测试图像的长边具有512个像素，如在现有算法[33，21]中所做的那样，以进行比较。在表2中，所提出的RCTNet在PSNR上达到最佳，这表明所提出的RCTNet对于颜色增强是有效的。相比之下，RCTNet在SSIM上产生第二好的性能，因为它不执行抑制噪声的空间滤波。为了解决去噪问题，我们可以采用简单的滤波方法，例如双边滤波器（BF）[44]作为后处理。如表2所示，双边滤波器将SSIM分数提高到0.923。低光图像增强：接下来，我们评估了所提出的RCTNet在低光图像增强问题上的应用。 表3比较了LoL上提出的RCTNet与最先进的微光图像增强算法[47，14，9，31，4，49，55，52，13，20]数据集[49]。ZeroDCE [13]和EnlightenGAN [20]提供相对较低的性能，因为它们使用未配对的图像训练网络。建议的RCTNet实现最佳的PSNR分数，通过增强输入颜色ef-4465(a) 输入（b）KinD [55]（c）RCTNet（d）RCTNet + BF（e）地面实况图4：LoL数据集的定性比较[49]。表4：UIEB数据集的定量比较[28]。最好的结果用黑体表示，第二好的结果用下划线表示。表5：EUVP数据集的定量比较[19]。最好的结果用黑体表示，第二好的结果用下划线表示。方法PSNRSSIM方法PSNRSSIM融合[1]17.600.772U-GAN [8]23.490.842Retinex [10]17.020.607Funie-GAN [19]23.400.827GDCP [35]12.090.512深度SESR [18]24.210.840RCTNet26.43 0.891富有成效相比之下，所提出的算法提供了相对较低的SSIM分数，因为低光图像包括大量的传感器噪声，由于其拍摄条件。这表明代表性颜色变换在去噪中不太有效。图4显示了所提出的RCTNet和KinD [55]的增强结果，这是表3中现有的最佳方法。在这些示例中，RCTNet增强低光图像，使其具有比KinD更类似于其地面实况的色调，而KinD更有效地抑制噪声。然而，所提出的方法的这个弱点例如，我们观察到简单的双边滤波器将PSNR和SSIM分数提高到22。81 dB和0. 827如在表3中。 此外，简单的后处理成功地抑制了噪声，如图4d所示。水下图像增强：最后，我们评估了所提出的RCTNet在水下图像增强问题上的性能。表4和5将所提出的算法与现有的水下图像增强算法[1，10，35，30，36，29，8、28、19、15、18、27]关于UIEB [28]和EUVP [19](a)输入(b)深度SESR [18]（c）RCTNet（d）GT图5：EUVP数据集的定性比较[19]。数据集，分别。由于拍摄环境的影响，水下图像往往会受到波长相关的吸收和散射的影响而退化。尽管如此，RCTNet faith-完全增强了水下图像，并在两个数据集上的PSNR和SSIM得分方面显著优于现有的最先进方法。图5定性地比较了所提出的算法与EUVP数据集中的次佳方法。值得注意的是，我们看到RCTNet产生了视觉上令人愉快的结果。4.4. 消融研究成分分析：我们分析了三个组成部分的功能融合，全球RCT，并在RCTNet的本地RCT模块的功效。在这个测试中，我们测量三个直方图[30]15.820.539模糊[36]15.320.603水循环GAN [29]15.750.521Dense GAN [15]17.280.443[第28话]19.110.797Ucolor [27]20.630.770RCTNet22.450.8914466表6：根据不同分量的PSNR分数。最好的结果是粗体。(a) 投入（b）全球信息技术(c)全球随机对照试验（d）图6：Adobe5k数据集上IT和RCT的定性比较[3]RCTNet的性能：1）没有特征融合，2）没有全局RCT，以及3）没有局部RCT。让我们将这些设置称为表6总结了四个数据集上这些设置的平均PSNR分数在没有全局RCT、局部RCT或未来融合的情况下，PSNR分数严重下降。这表明，所提出的组件是必不可少的图像增强。代表性颜色变换：我们通过用不同的增强模型替换所提出的RCT来首先，我们采用U-Net架构[6]中的解码器，该架构包括6个上采样块以执行双线性插值、级联和卷积滤波。其次，我们用[21]中的通道强度变换模型代替了所提出的RCT。第三，我们从RCTNet中排除本地RCT模块进行公平比较。所有的增强模型都包括相同的编码器和图2中的特征融合模块。表7总结了三种图像增强方法的PSNR分数。这里，“解码器”在除LoL数据集之外的所有数据集上提供最差的性能。这表明基于颜色变换的方法比编码器-解码器结构对于图像增强更有效此外，图6示出了MIT-Adobe 5 k数据集上的“全局RCT”和“全局IT”的增强结果图6a中的输入图像在包括天空、海洋和地面的大多数区域中在蓝色通道上具有低强度值。为了有效地增强输入图像，表7：根据图像增强方法的PSNR分数最好的结果是粗体。法Adobe 5KLoLUIEBEUVP解码器[6]24.2621.2521.7023.86全球IT [21]24.9721.2022.2324.05全球RCT25.5722.3522.4124.46天空和海洋的蓝色通道应比地面增加更多。然而，因此，天空和海洋区域中的蓝色强度没有被正如[21]中所指出的，这表明相反，如图6c所示，“全局RCT”可以对天空、海洋和地面执行不同的因此，其提供如图6d中的手动修饰结果中的忠实增强结果。5. 结论提出了一种基于代表色变换的图像增强算法。建议的RCT确定不同的代表性颜色专门在输入图像和增强输入图像使用的代表性特征和变换的颜色。然后，与建议的RCT，我们开发了RCTNet，由编码器，特征融合，全球RCT，和本地RCT模块。全局RCT预测输入图像的代表性颜色，而局部RCT确定逐区域的代表性颜色以考虑局部区域特性用于图像增强。大量的实验表明，所提出的RCTNet优于最近的国家的最先进的算法在各种数据集与标准的图像增强，低光图像增强，水下图像增强。确认这项工作得到了韩国政府（MSIT）资助的韩国国家研究 基 金 会 （ NRF ） 资 助 （ 编 号 NRF-2018 R1 A2B3003896 ， 编 号 NRF-2018 R1 A2 B3003896 ） 的 支持 。 NRF-2019R1F1A1062907 和 No.NRF-2021R1A4A1031864）法Adobe 5KLoLUIEBEUVPRCTNet26.0222.6722.8126.43无全球RCT25.4322.1221.9924.30无当地RCT25.5722.3522.4124.46无特征融合25.6822.3022.3425.194467引用[1] Cosmin Ancuti，Codruta Orniana Ancuti，Tom Haber，and Philippe Bekaert.通过融合增强水下图像和视频。在Proc. CVPR，第81-88页，2012中。7[2] Tarik Arici、Salih Dikbas和Yucel Altunbasak。直方图修正框架及其在图像对比度增强中的应用。IEEE传输图像处理。，18（9）：1921-1935，2009. 2[3] VladimirBychko vsky ， SylvainParis ， EricChan 和 Fre´doDurand。使用输入/输出图像对的数据库学习摄影全局色调调整 在proc CVPR，第97-104页，2011年。二五六八[4] 蔡建瑞、古书航、张磊。从多曝光图像学习深度单图像对比度增强器IEEE传输图像处理。，27（4）：2049-2062，2018. 6[5] Huiwen Chang ， Ohad Fried ， Yiming Liu ， StephenDiVerdi，and Adam Finkelstein.基于调色板的照片重新着色。ACM事务处理图表，34（4）：139：1-139：11，2015. 3[6] 陈玉生、王玉清、高满新、庄永玉。深层照片增强器：使用GANs从照片中进行图像增强的非配对学习。在procCVPR，第6306-6314页，2018年。一二三六八[7] Yubin Deng，Chen Change Loy，and Xiaoou Tang.通过对抗学习实现美学驱动的图像增强。在procACM MM，第870-878页，2018年。第1、3条[8] Cameron Fabbri，Md Jahidul Islam，and Junaed Sattar.使用生成对抗网络增强水下图像。在Proc. ICRA，第7159-7165页，2018年。7[9] Xueyang Fu ， Delu Zeng ， Yue Huang ， Xiao-PingZhang，and Xinghao Ding.同时估计反射率和照度的加权变分模型。在proc CVPR，第2782-2790页，2016年。6[10] Xueyang Fu ， Peixian Zhuang ， Yue Huang ， YinghaoLiao ，Xiao-Ping Zhang ，and Xinghao Ding. 一种 基于retinex的水下单幅图像增强方法。 在procICIP，第4572-4576页，2014年。7[11] Mi cha eülGharbi ， Ji a wenChen ， JonathanTBarron ，SamuelWHasino f f，andFre´ doDurand. 用于实时图像增强的深度双边学习ACM事务处理图表，36（4）：1-12，2017. 二、三、六[12] 拉斐尔角Gonzalez和Richard E.伍兹. 数字图像处理（第四版）。皮尔逊，2018年。2[13] Chunle Guo，Chongyi Li，Jichang Guo，Chen ChangeLoy，Junhui Hou，Sam Kwong，and Runmin Cong.用于弱光图像增强的零参考深度曲线估计。在Proc. CVPR，第1780-1789页，2020年。一、三、六[14] 郭晓洁，李宇，凌海滨。LIME：通过照明图估计的低光图像增强。IEEE传输图像处理。，26（2）：982-993，2016. 6[15] Y. Guo，H. Li和P.Zhuang.基于多尺度稠密生成对抗网络的水下图像增强。IEEE J. Ocean. Eng. ，45（3）：862-870，2020. 7[16] 胡渊明，何昊，徐晨曦，王宝源，林志颖。Exposure：一个白盒照片后处理框架。ACM事务处理图表，37（2）：1-17，2018. 第1、3条4468[17] Sergey Ioffe和Christian Szegedy。批次标准化：通过减少内部协变量偏移来加速深度网络训练。在Proc.ICML，第448-456页，2015中。4[18] Md Jahidul Islam，Peigen Luo，and Junaed Sattar.水下图像的同时增强和超分辨率，以改善视觉感知。InProc. RSS，2020. 7[19] Md Jahidul Islam，Youya Xia，and Junaed Sattar.快速水下图像增强改善视觉感知.IEEE Robot.自动Lett. ，5（2）：3227-3234，2020. 二六七[20] Yifan Jiang，Xinyu Gong，Ding Liu，Yu Cheng，ChenFang，Xiaohui Shen，Jianchao Yang，Pan Zhou，andZhangyang Wang.启迪：无需配对监督的深度光增强。IEEE传输图像处理。，30：2340- 2349，2021. 6[21] Han-Ul Kim，Yeong Jun Koh，and Chang-Su Kim.用于配对和非配对图像增强的全局和局部增强网络Proc.ECCV，2020。一、三、六、八[22] Han-Ul Kim ， Yeong Jun Koh ， and Chang-Su Kim.PieNet：个性化图像增强网络。在Proc. ECCV，第374-390页，2020中。第1、3条[23] 金永泰使用亮度保持双直方图均衡的对比度增强。IEEE Trans. 消耗品。电子学，43（1）：1-8，1997. 2[24] Diederik P Kingma和Jimmy Ba。Adam：随机最佳化的方法。InProc. ICLR，2015. 6[25] Satoshi Kosugi和Toshihiko Yamasaki。不成对的图像增强功能强化学习控制的图像编辑软件。在Proc.AAAI，2020中。第1、3条[26] Chulwoo Lee Chul Lee和Chang-Su Kim基于二维直方图分层差分表示的对比度增强。 IEEE Trans. 图像处理。，22（12）：53722[27] Chongyi Li ， Saeed Anwar ， Junhui Hou ， RunminCong，Chunle Guo，and Wenqi Ren.基于介质传输引导的多色空间嵌入水下图像增强 IEEE Trans. 图像处理。，30：49857[28] Chongyi Li，Chunle Guo，Wenqi Ren，Runmin Cong，Junhui Hou，Sam Kwong，and Dacheng Tao.水下图像增强基准数据集及其他。IEEE Trans.图像处理。，29：4376-4389，2019. 二六七[29] Chongyi Li，Jichang Guo，and Chunle Guo. 从水里冒出来的：基于弱监督颜色传递的水下图像颜色校正。IEEE符号过程Letters，25（3）：323-327，2018. 7[30] Chong-Yi Li，Ji-Chang Guo，Run-Min Cong，Yan-WeiPang，and Bo Wang.基于最小信息损失和直方图分布先验的水下图像去雾增强。 IEEE Trans. 图像处理。，25（12）：56647[31] Mading Li ， Jiaying Liu ， Wenhan Yang ， XiaoyanSun，and Zongming Guo.通过鲁棒的retinex模型进行结构揭示的低光图像增强 IEEE Trans. 图像处理，27（6）：2828-2841，2018. 6[32] Kin Gwn Lore ， Adedotun Akintayo ， and SoumikSarkar.LL-Net：一种用于自然低光图像增强的深度自动编码器方法。模式识别。，61：650-662，2017. 24469[33] Sean Moran，Pierre Marza，Steven McDonagh，SarahParisot，and Gregory Slabaugh. DeepLPF：用于图像增强的深度局部参数滤波器。在Proc. CVPR，第12826-12835页6[34] Jongchan Park，Joon-Young Lee，Donggeun Yoo，andIn So Kweon. 失真和恢复：使用深度强化学习的颜色增强在Proc. CVPR，第5928-5936页，2018年。第1、3条[35] Yan-Tsung Peng，Keming Cao，and Pamela C Cosman.单幅图像恢复中暗通道先验的IEEE传输图像处理。，27（6）：2856-2868，2018. 7[36] Yan-Tsung Peng和Pamela C Cosman.基于图像模糊和光吸收的水下图像复原IEEE传输图像处理。，26（4）：1579-1594，2017. 7[37] Prajit Ramachandran，Barret Zoph，and Quoc V Le.搜索激活函数。InProc. ICLRW，2018. 4[38] Olaf Ronneberger，Philipp Fischer，and Thomas Brox.U-网：用